Pourquoi RAG est l'avenir de la recherche (et comment la recherche élastique le rend possible)

Le problème que RAG résout

Les grands modèles linguistiques (LLM) sont incroyablement puissants, mais ils ont une limitation critique : ils ne peuvent répondre qu'en fonction de ce sur quoi ils ont été formés. Cela conduit à deux problèmes majeurs :

1. Hallucinations : le modèle peut fournir en toute confiance des informations incorrectes
2. Connaissance limitée : le modèle ne connaît pas vos données, documents ou informations récentes spécifiques

RAG résout ce problème en donnant au LLM un « cerveau » constitué de vos données spécifiques.

Les trois étapes de RAG

Étape 1 : RÉCUPÉRATION (Le « Bibliothécaire »)

Ce qui se produit:

• Lorsque vous posez une question, nous ne l'envoyons PAS immédiatement à l'IA.
• Au lieu de cela, nous demandons d'abord à Elasticsearch de trouver les « pages » exactes de nos données qui correspondent à l'intention de la question.

Comment ça marche :

1. Votre question est convertie en vecteur (une liste de nombres représentant une signification) à l'aide du modèle d'intégration d'OpenAI
2. Elasticsearch effectue une recherche KNN (K-Nearest Neighbours) pour trouver des documents ayant une signification similaire
3. Renvoie les 5 morceaux de document les plus pertinents

Point d’enseignement clé :

"Elastic ne recherche pas de mots ; il cherche un sens à l'aide de la recherche vectorielle. Il s'agit d'une recherche sémantique, pas d'une recherche par mot clé."