Où RAG vous coûte-t-il réellement de l’argent ? J'ai décidé d'arrêter de deviner.

RAG est devenu mon obsession actuelle. Chaque jour, je creuse une couche plus profondément dans mon propre pipeline, et presque chaque jour, quelque chose que je « savais avec certitude » s'avère faux.

Voici comment cela a commencé.

J'avais l'habitude de lire du contenu sur les affaires et la finance en parallèle – rien de sérieux, juste assez pour comprendre comment les entreprises survivent réellement. Une chose m'a marqué : les entreprises durables ne recherchent pas seulement des revenus, elles sont obsédées par le fait de savoir exactement où vont leurs coûts. Brûlez moins de carburant, allez plus loin. C'est tout le jeu.

J'ai décidé d'appliquer la même habitude à mon propre pipeline RAG. Arrêtez de supposer. Examinez chaque étape et voyez où va réellement l’argent.

Ce que j'ai trouvé m'a surpris.

La croyance que je n'ai jamais remise en question

"L'intégration coûte cher – évitez à tout prix de réintégrer."

Je n'ai pas entendu ça une seule fois. Je l'ai entendu partout. Chaque développeur à qui j'ai parlé en a répété une version. Ainsi, lorsque j'ai construit un cache sémantique, j'ai conçu autour de cette peur - j'ai supposé qu'une couche de recherche sémantique basée sur Redis coûterait plus cher qu'elle n'en économisait,...
[Courte citation de 8% de l'article original]