Un cadre et un classement pour l'évaluation des pipelines de récupération sur ViDoRe v3

La génération augmentée de récupération (RAG) est devenue populaire comme méthode pour améliorer les réponses générées par un modèle de langage large (LLM). Au lieu de recycler le LLM sur un domaine spécifique ou sur un contenu mis à jour, RAG utilise un composant de récupération pour injecter un contexte pertinent concernant la requête de l'utilisateur dans l'invite. La qualité de la récupération a un impact direct sur la qualité des réponses générées par LLM.

Pour mesurer cela, nous avons récemment lancé ViDoRe v3, une référence réelle pour évaluer les modèles d'intégration dans les tâches de récupération visuelle. Cependant, même s’il est crucial de suivre les progrès de ces modèles individuels, les systèmes de récupération industriels modernes s’appuient rarement sur un modèle unique ; au lieu de cela, ils reposent sur des pipelines multiples, complexes et complexes. De tels pipelines de récupération peuvent être conçus pour optimiser les aspects de performances (comme l'indexation ou le débit de service), ou pour traiter des données « désordonnées » (par exemple, des notes manuscrites) ou visuellement riches (tableaux financiers complexes, graphiques, infographies). Construire un système de récupération de pointe nécessite aujourd’hui de choisir les composants adaptés aux exigences de l’entreprise et du système.

Dans cet article de blog, nous discutons des composants clés et des choix de conception des pipelines de récupération et présentons le cadre d'évaluation et le classement du pipeline ViDoRe v3. Le framework fournit une interface simple qui permet l'évaluation et la comparaison des pipelines de récupération sur ViDoRe v3, depuis une simple ligne de base de récupération dense ou clairsemée jusqu'à un système agentique complexe en plusieurs étapes avec utilisation d'outils.

Le nouveau classement du pipeline ViDoRe V3 est disponible publiquement sur Hugging Face et intégré dans cet article de blog !

1. Avec quoi nourrir votre retriever ? Modèles OCR et vision-langage

La première décision dans tout pipeline est de savoir comment « voir » vos données. Traditionnellement, nous nous appuyions sur la reconnaissance optique de caractères (OCR) pour extraire le texte des PDF et des images, qui é...
[Courte citation de 8% de l'article original]