Agent = Modèle x Harnais : Votre couche d'évaluation fait partie de l'agent, pas un outil à côté de lui

Il y a une formule à laquelle je reviens sans cesse lorsque les gens demandent pourquoi leur astucieux agent de démonstration s'effondre en production :

Agent = Modèle × Harnais

Le modèle est le raisonnement brut – Claude, GPT, peu importe. Il est échangeable et s'améliore dans une courbe que vous ne contrôlez pas. Le harnais, c'est tout le reste : les objectifs, les boucles, les outils, le planificateur, la logique de nouvelle tentative. La majeure partie de l’ingénierie importante réside dans le harnais, pas dans le modèle.

Mais voici ce que la plupart des équipes se trompent. Ils définissent le harnais comme la plomberie pour exécuter le modèle - objectifs + boucles + outils - puis boulonnent les évaluations et l'observabilité sur le côté en tant qu'assurance qualité externe. Des choses que vous montrez à l'agent, après coup, de l'extérieur.

C'est l'erreur. Votre couche d'évaluation et votre couche de trace se trouvent à l'intérieur du harnais. Ce ne sont pas des outils à côté de l'agent ; ils sont la moitié de l'agent qui en fait une boucle fermée au lieu d'une boucle ouverte.

Harnais = objectifs + boucles + outils + objectif + évaluations. Les trois premiers laissent l'agent agir. Les deux derniers lui permettent de savoir si l’action a été bonne – ce qui est la seule chose qui transforme un agent qui court en un agent qui s’améliore.

Permettez-moi de concrétiser cela, car je l'ai appris de manière peu glamour : en regardant un agent programmé s'écraser et en découvrant exactement quelles parties de mon harnais m'ont sauvé.

Boucle ouverte vs boucle fermée

Un agent en boucle ouverte agit et avance. Il écrit le fichier, accède à l'API, envoie la validation - et personne, y compris l'agent lui-même, ne sait si le résultat était correct. Vous le découvrez lorsqu'un humain r...
[Courte citation de 8% de l'article original]