Au-delà de la similarité sémantique : présentation du pipeline de récupération agentique généralisable de NVIDIA NeMo Retriever

Nous sommes ravis d'annoncer que l'équipe NVIDIA NeMo Retriever a développé un nouveau pipeline de récupération agent qui a officiellement assuré la première place dans le classement des pipelines ViDoRe v3. De plus, cette même architecture de pipeline a atteint la deuxième place du classement BRIGHT, très exigeant et à forte intensité de raisonnement.

Dans le paysage en évolution rapide de la récupération par l’IA, de nombreuses solutions sont hautement spécialisées, conçues pour fonctionner exceptionnellement bien sur des tâches spécifiques et restreintes. Cependant, les applications d’entreprise réelles ont rarement le luxe de disposer de données parfaitement organisées et à domaine unique. Ils nécessitent des systèmes capables de s'adapter de manière transparente à une grande variété de défis, de l'analyse de présentations visuelles complexes à l'exécution d'un raisonnement logique approfondi.

C'est pourquoi nous avons donné la priorité à la généralisabilité dans notre conception. Plutôt que de nous appuyer sur des heuristiques spécifiques aux ensembles de données, nous avons construit un pipeline agent qui adapte dynamiquement sa stratégie de recherche et de raisonnement aux données disponibles. Cela nous permet de fournir des performances de pointe sur des benchmarks très différents sans nécessiter de modifications architecturales sous-jacentes.

Voici un aperçu de la façon dont nous l’avons construit.

La motivation : pourquoi la similarité sémantique ne suffit pas

Pendant des années, la recherche dense basée sur la similarité sémantique a été la norme pour trouver des informations. Cependant, à mesure que les applications de recherche se multiplient, la recherche de documents pertinents va au-delà de la seule similarité sémantique. La recherche de documents complexes nécessite des compétences de raisonnement, une compréhension des systèmes du monde réel et une exploration itérative.

Il existe une lacune fondamentale : les LLM sont doués pour réfléchir et raisonner, mais ne peuvent pas traiter des millions de documents à la fois. À l’inverse, les récupérateurs peuvent facilement parcou...
[Courte citation de 8% de l'article original]