Acronymes techniques :
Termes statistiques et mathématiques :
Imaginez que vous êtes propriétaire d'un restaurant. Un client se plaint : « La nourriture était mauvaise. » C'est un feedback inutile. C'était trop salé ? Pas assez cuit ? Ce n'est pas du tout le bon plat ? Vous avez besoin de critères spécifiques et mesurables pour vous améliorer.
Les systèmes RAG sont confrontés au même défi. « La réponse était fausse » ne vous dit pas si :
L’évaluation RAG est comme un diagnostic médical. Vous ne vous contentez pas de demander « le patient est-il malade ? Vous mesurez la température, la tension artérielle, la fréquence cardiaque et des biomarqueurs spécifiques. Chaque métrique isole un problème potentiel différent, guidant le traitement.
Voici une autre analogie : les mesures d'évaluation sont des points de contrôle de qualité sur une chaîne de montage. Vous ne vous contentez pas d'inspecter la voiture finale : vous vérifiez séparément le moteur, la transmission et le système électrique. Un test de freinage échoué vous indique exactement où chercher.
Une troisième façon d’y penser : les métriques sont des tests unitaires pour les systèmes d’IA. Tout comme vous ne livreriez pas de code sans tests, vous ne devriez pas livrer RAG sans évaluation. La différence est que les « tests » d’IA sont probabilistes et non déterministes.
La qualité RAG se décompose en quatre couches distinctes, chacune nécessitant des mesures différentes :
┌──────────────────────── ─────────────────────────┐ │ Couche 4 : Qualité de bout en bout │ │ « Avons-nous résolu le problème réel de l'utilisateur ? » │ │ Métriques : réussite des tâches, satisfaction des utilisateurs │ ├──────────────────────── ─────────────────────────┤ │ Couche 3 : Qualité de la réponse │ │ « La réponse finale est-elle correcte et utile ? » │ │ Métriques : exactitude, exhaustivité, pertinence │ ├──────────────────────── ─────────────────────────┤ │ Couche 2 : Fidélité │ │ « La réponse correspond-elle au contexte récupéré ? │ │ Métriques : fidélité, taux d'hallucinations │ ├──────────────────────── ─────────────────────────┤ │ Couche 1 : Qualité de récupération │ │ « Avons-nous trouvé les bons documents ? │ │ Métriques : précision, rappel, MRR, nDCG │ └──────────────────────── ─────────────────────────┘Aperçu critique : les problèmes remontent en cascade. Une mauvaise récupération garantit de mauvaises réponses. Mais une bonne récupération ne garantit pas de bonnes réponses : la génération peut toujours échouer. Vous avez besoin de métriques à chaque couche.
Ce qu'il mesure : parmi les documents que nous avons récupérés, combien étaient réellement pertinents ?
Pourquoi c'est important : une faible précision signifie que vous remplissez la fenêtre contextuelle de bruit. Le LLM doit travailler plus dur pour trouver le signal, ce qui augmente le risque d'hallucination.
L'analogie : vous recherchez une affaire juridique. La précision du contexte demande : « Sur les 10 documents que votre assistant a extraits, combien sont réellement pertinents pour cette affaire ? » Si 3 sont pertinents, la précision est de 30 %.
Calcul:
Précision du contexte = Morceaux pertinents récupérés / Nombre total de morceaux récupérésCible : > 0,7 pour la plupart des applications. En dessous de 0,5, la récupération nécessite du travail.
Ce qu'il mesure : Parmi tous les documents pertinents qui existent, combien en avons-nous trouvé ?
Pourquoi c'est important : Un faible rappel signifie qu'il vous manque des informations importantes. La réponse est peut-être techniquement exacte mais incomplète.
L'analogie : vous étudiez pour un examen sur la Seconde Guerre mondiale. Le rappel contextuel demande : « Parmi tous les faits importants que vous devez connaître, combien votre matériel d’étude a-t-il couvert ? » Manquer l’invasion du jour J signifie un faible souvenir.
Calcul:
Rappel de contexte = Morceaux...
[Courte citation de 8% de l'article original]