Le problème de la perte au milieu et pourquoi la récupération surpasse le bourrage

Votre agent dispose d'une fenêtre contextuelle de 200 000 jetons. Vous jetez donc tout là-dedans - MEMORY.md, les journaux quotidiens, les notes de projet, les anciennes conversations - et vous pensez que le modèle réglera le problème. Ce ne sera pas le cas.

La recherche indique que votre contexte intermédiaire est une zone morte

En 2023, des chercheurs de Stanford, de l'UC Berkeley et de Samaya AI ont publié « Lost in the Middle : How Language Models Use Long Contexts ». Ils ont testé des modèles sur des tâches dans lesquelles les informations pertinentes étaient placées à différentes positions dans l'entrée. Les résultats étaient cohérents : les modèles fonctionnaient mieux lorsque les informations clés apparaissaient au tout début ou à la toute fin du contexte. Les informations du milieu ont été ignorées.

Ce n’était pas une découverte fortuite. Nelson Liu et l'équipe ont testé plusieurs familles de modèles et longueurs de contexte. Les performances se dégradaient considérablement – ​​parfois de 20 % ou plus – lorsque la réponse était enfouie dans le tiers médian de l’entrée.

Google DeepMind a donné des résultats simil...
[Courte citation de 8% de l'article original]