Découvrir les raccourcis utilisés par les agents de codage de l'IA pour avoir l'air terminé

DEV - 05/06
Semgrep et ESLint signalent les codes à risque. Cela signale ce qui leur manque : des tests affaiblis, des erreurs avalées, des renommages laissés à moitié terminés.

Une suite de tests verte est censée signifier que le changement fonctionne. Ce n'est pas le cas. Un test peut être affaibli juste assez pour réussir. Une erreur peut être détectée et rejetée. Un changement de nom peut s'arrêter à mi-chemin et continuer à compiler. Rien de tout cela ne devient rouge, et rien de tout cela n'apparaît dans les linters que la plupart des équipes exécutent déjà.

Swarm Orchestrator est conçu pour détecter exactement cette classe de problèmes dans les requêtes pull écrites par l'IA.

Deux parties. L'un audite les PR écrits par l'IA pour les raccourcis qui simulent "terminé" (11 vérifications). L'autre applique un correctif à un contrat que vous définissez : il construit, réussit les tests, satisfait à vos exigences et survit à un falsificateur qui tente de le rompre.

TypeScript, Node 20, licence ISC. Le côté audit s'exécute sans informations d'identification de modèle.

L'espace laissé par les linters

Semgrep et ESLint sont construits autour d'API risquées et de modèles de code défectueux connus. La question de savoir si une différence est honnête est une autre question. Ils ne vous diront ...
[Courte citation de 8% de l'article original]