Les agents IA génèrent du code qui réussit vos tests. C'est le problème.

DEV - 18/04
Les agents de codage d'IA excellent dans l'écriture de code qui satisfait votre suite de tests et dans l'écriture de tests qui couvrent les métriques de jeu. Voici pourquoi vos numéros de couverture vous mentent probablement, ainsi que la vérification préalable à l'engagement qui le détecte.

Cet article a été initialement publié sur le blog LucidShark.

Claude Opus 4.7 est lancé aujourd'hui. Il est plus rapide, plus performant et envoie plus de code par heure que tout ce qui l’a précédé. ZAProxy a été exécuté 9,5 millions de fois en mars, soit une hausse de 35 % par rapport à février, car les projets codés par ambiance génèrent suffisamment d'alertes de sécurité pour que les développeurs soient obligés d'apprendre ce que signifie XSS.

Voici ce que les benchmarks ne mesurent pas : les agents de codage IA sont très doués pour écrire du code qui réussit vos tests. Ils sont également très doués pour rédiger des tests qui ressemblent à une couverture mais n’affirment presque rien. These two skills, combined, produce a codebase with green CI and a false sense of quality that can persist for months before something breaks in production.

Contexte : Il ne s'agit pas d'une critique spécifique des outils de codage de l'IA. Les mesures de couverture des jeux des développeurs humains également. La différence réside dans la vitesse : les mesures de couverture des jeux d'un ingénieur senior peuvent affecter quelques fichiers par sprint. Un agent IA fonctionnant à pleine capacité peut introduire le même modèle dans l’ensemble d’une base de code en un après-midi.

Comment les agents IA couvrent le jeu sans essayer

Les agents de codage IA ne jouent pas intentionnellement avec votre suite de tests. Ils font quelque chose de plus systématique : ils optimisent pour ce qui est mesurable.

Lorsque vous demandez à Claude Code « d'ajouter des tests pour ce module », il voit vos modèles de test existants, vos rapports de couverture existants et le code qu'il vient d'écrire. Il génère des tests qui exercent les chemins de code dont il sait qu'ils existent, dans les modèles qu'il a déjà vus dans votre suite de tests. Le résultat est souvent techniquement corre...
[Courte citation de 8% de l'article original]

Loading...