Votre RAG Eval n’est pas floconneux. Votre récupération est non déterministe.

DEV - 14/07
Même requête. Mêmes documents. Même modèle. Et l'évaluation RAG peut toujours rendre un résultat différent...

Même requête. Mêmes documents. Même modèle. Et l'évaluation RAG peut toujours renvoyer un Recall@8 différent.

Non pas parce que le modèle est flou. À cause d'unCOMMANDER PARclause.

Je n'ai pas trouvé cela en regardant une oscillation métrique. Je l'ai trouvé en lisant le code de récupération et j'ai réalisé que le score dériverait d'une exécution à l'autre même si le modèle ne changeait jamais.

Cela vient d'une habitude que j'ai adoptée récemment : j'écris l'évaluation avant la fonctionnalité. En examinant le pipeline de récupération derrière ma fonctionnalité « Ask this Book », je l'ai vu : la couche de récupération n'était pas déterministe.

L'ordre n'est pas la présentation. Cela fait partie de l'entrée.

Mon implémentation RAG est intentionnellement ...
[Courte citation de 8% de l'article original]