Nous introduisons un mode de segmentation d'IA unique en son genre dans l'algorithme de segmentation sémantique semchunk, tirant parti de notre modèle d'enrichissement et de segmentation hiérarchique récemment publié, Kanon 2 Enricher.
Sur Legal RAG QA, le mode de segmentation IA de semchunk offre une augmentation de 6 % de l'exactitude du RAG par rapport à son mode de segmentation non-IA, de 8 % par rapport à l'algorithme de segmentation récursif de LangChain, de 12 % par rapport au segmentage naïf de taille fixe et de 15 % par rapport aux modes de segmentation récursifs et intégrés de Chonkie, démontrant l'impact significatif que le choix de l'algorithme de segmentation peut avoir sur les performances RAG en aval.
Pour commencer à intégrer notre nouveau mode de segmentation AI dans vos propres applications, vous pouvez installer la dernière version de semchunk en suivant les instructions de notre README.
La génération augmentée par récupération ou RAG consiste à alimenter un LLM en nouvelles informations provenant de sources extérieures afin d'étayer ses réponses.
Étant donné que les LLM disposent d'un nombre fini de jetons qu'ils peuvent traiter en un seul appel, les systèmes RAG doivent souvent diviser les entrées volumineuses en parties plus petites et ne transmettre aux LLM que les parties les plus pertinentes, évitant ainsi de les surcharger d'informations.
Par exemple, si vous posez à un système juridique RAG une question telle que « Quelle est la sanction pour conduite en état d'ivresse en Californie ? », il est peu probable qu'un LLM reçoive l'intégralité du Code des véhicules de Californie en même temps. Au lieu de cela, un moteur de récupération back-end finira par donner au LLM la section spécifique de la loi régissant l'alcool au volant. Cela permet non seulement de gagner du temps en évitant au LLM d'avoir à traiter une quantité massive d'informations, mais améliore également la précision en permettant à un LLM de se concentrer sur les informations spécifiques en question.
Le processus de division de gros intrants en parties plus petites est appelé segmentation.
Le découpage peut être effectué simplement en divisant une entrée à un intervalle fixe, par exemple tous les 100 mots. Cette approche est extrêmement rapide et, dans certains cas, fonctionne assez bien. Un inconvénient majeur, cependant, est que vous finissez souvent par rompre en plein milieu d’un contexte important.
La phrase : « Aujourd'hui, vous avez peut-être gagné ; Je gagnerai demain », lorsqu'il est divisé en morceaux de 4 mots, « A...
[Courte citation de 8% de l'article original]