Dans mon blog précédent, nous avons exploré l'évolution des techniques de recherche d'informations depuis la simple correspondance de mots clés jusqu'à la compréhension sophistiquée du contexte et avons introduit le concept selon lequel les intégrations éparses peuvent être « apprises ». Ces intégrations intelligentes fusionnent les atouts des méthodes de récupération denses et clairsemées. Les intégrations clairsemées apprises résolvent les problèmes hors domaine typiques qui prévalent dans la récupération dense et améliorent les méthodes clairsemées traditionnelles en intégrant des informations contextuelles.
Compte tenu des nombreux avantages des intégrations clairsemées apprises, vous vous demandez peut-être quels modèles les génèrent et comment ils le font. Cet article examinera deux modèles de pointe pour créer ces intégrations : BGE-M3 et Splade. Nous aborderons leurs conceptions et les principes qui les sous-tendent.
Les intégrations vectorielles, ou représentations vectorielles, sont des représentations numériques d'objets, de concepts ou d'entités dans un espace vectoriel de grande dimension. Chaque entité est représentée par un vecteur comprenant des nombres réels, généralement de longueur fixe, chaque dimension vectorielle représentant un attribut ou une caractéristique distinct de l'entité. Il existe généralement trois principaux types d'intégration : les intégrations clairsemées (traditionnelles), les intégrations denses et les intégrations clairsemées "appris".
Les intégrations creuses traditionnelles, généralement utilisées dans le traitement du langage, sont de grande dimension, avec de nombreuses dimensions contenant des valeurs nulles. Ces dimensions représentent souvent différents jetons dans une ou plusieurs langues, avec des valeurs non nulles indiquant l'importance relative du jeton dans un document spécifique. Les intégrations clairsemées, telles que celles générées par l'algorithme BM25, qui affine l'approche TF-IDF en ajoutant une fonction de saturation de fréquence de terme et un facteur de normalisation de longueur, sont parfaites pour les tâches de correspondanc...
[Courte citation de 8% de l'article original]