Résumé. L’évaluation de l’IA a franchi un seuil de coût qui change qui peut le faire. Le Holistic Agent Leaderboard (HAL) a récemment dépensé environ 40 000 $ pour effectuer 21 730 déploiements d’agents sur 9 modèles et 9 benchmarks. Une seule exécution de GAIA sur un modèle frontière peut coûter 2 829 $ avant la mise en cache. L'analyse de 22 000 $ d'Exgentic sur les configurations d'agents a révélé une répartition des coûts de 33 fois sur des tâches identiques, isolant le choix de l'échafaudage comme un facteur de coûts de premier ordre, et UK-AISI a récemment étendu les étapes agentiques à des millions pour étudier le calcul du temps d'inférence. En ML scientifique, The Well coûte environ 960 H100 heures pour évaluer une nouvelle architecture et 3 840 H100 heures pour un balayage complet de quatre bases. Alors que des techniques de compression ont été proposées pour les benchmarks statiques, les nouveaux benchmarks d'agents sont bruyants, sensibles à l'échafaudage et seulement partiellement compressibles. Les tests de formation en boucle sont coûteux par construction, et lorsque vous essayez d'ajouter de la fiabilité à ces évaluations, des exécutions répétées multiplient encore le coût.
Le problème des coûts a commencé avant les agents. Lorsque le CRFM de Stanford a publié HELM en 2022, la comptabilité par modèle du journal indiquait des coûts d'API allant de 85 $ pour le code-cushman-001 d'OpenAI à 10 926 $ pour le J1-Jumbo (178B) d'AI21 et de 540 à 4 200 heures GPU pour les modèles ouverts, avec BLOOM (176B) et OPT (175B) en haut. fin. Perlitz et coll. (2023) réaffirment le modèle de coût HELM plus large, et IBM Research note que le passage de Granite-13B via HELM « peut consommer jusqu'à 1 000 heures GPU ». Sur les 30 modèles et 42 scénarios de HELM, le total des coûts déclarés et du calcul GPU s'élevait à environ 100 000 $.
Une autre observation choquante est venue de l'analyse de Perlitz et al. des points de contrôle Pythia d'EleutherAI : les développeurs paient pour l'évaluation à plusieurs reprises pendant le développement du modèle. Pythia a publié 154 points de contrôle pour chacun des 16 modèles couvrant 8 tailles, ou 2 464 points de contrôle si chaque point de contrôle de modèle est compté séparément, afin que la communauté puisse étudier la dynamique de formation. L'exécution du harnais d'évaluation LM sur tous ces points de contrôle transforme l'évaluation en un multiplicateur de formation : Perlitz et al. (2024) ont noté que les coûts d'évaluation « peuvent même dépasser ceux de la pré-formation lors de l'évaluation des points de contrôle ». Pour les petits modèles, l’évaluation devient l’élément de calcul dominant tout au long du cycle de développement. Lorsque nous adaptons le calcul du temps d'inférence, nous réduisons les coûts d'évaluation.
Perlitz et coll. a ensuite demandé quelle part de HELM figurait réellement dans le classement. Le résultat était frappant : une réduction de 100 × à 200 × du calcul préservait presque le même ordre, des réductions plus importantes étant toujours utiles pour un regroupement grossier dans le cadre de l'analyse à plusieurs niveaux de l'article. Flash-HELM a transformé cette découverte en une procédure grossière à fine : effectuez d'abord des évaluations bon marché, puis consacrez des calculs haute résolution uniquement aux meilleurs candidats. Une grande partie des calculs de HELM confirmaient des classements que le domaine aurait pu déduire à beaucoup moins cher.
D’autres travaux sont parvenus à la même conclusion sous des angles différents. tinyBenchmarks a compressé MMLU de 14 000 éléments à 100 éléments d'ancrage avec une erreur d'environ 2 % en utilisant la théorie de la réponse aux éléments. Le classement Open LLM est passé de 29 000 exemples à 180. Anchor Points a montré qu'à peine 1 à 30 exemples pouvaient classer 87 paires langage-modèle/invite sur GLUE, et d'autres ont suivi, réduisant la taille des ensembles de données de 90 %. Les benchmarks statiques présentaient une faiblesse que vous pouviez exploiter : les différences de modèle se concentrent souvent sur un petit sous-ensemble d'éléments, de sorte que le classement peut survivre à un sous-échantillonnage agressif.
Cette astuce s’est considérablement affaiblie une fois que les références sont passées des prédictions statiques aux agents.
Une très belle comptabilité publique de l’évaluation des agents provient du Holistic Agent Leaderboard (Kapoor et al., ICLR 2026). HAL gère des groupes d'agents standardisés sur neuf critères couvrant le codage, la navigation Web, les tâches scientifiques et le service client, avec des échafaudages partagés et un suivi centralisé des coûts. Le coût global : 40 000 $ pour 21 730 déploiements sur 9 modèles et 9 benchm...
[Courte citation de 8% de l'article original]