Pourquoi votre IA a besoin du droit de dire « Je ne sais pas »

Repenser les hallucinations

Avant, je pensais que les hallucinations étaient un problème de connaissance : l'IA inventait des choses parce qu'elle ne connaissait pas la réponse.

Après des mois de travail en étroite collaboration avec AI en tant que partenaire de développement, j'en suis venu à voir les choses différemment.

D’après mon expérience, la plupart des hallucinations proviennent de lacunes dans le contexte et non de lacunes dans les connaissances.

L’IA donne de mauvaises réponses non pas parce qu’elle manque de connaissances, mais parce qu’elle ne dispose pas de votre contexte : les hypothèses, les contraintes et les priorités que vous avez mais que vous n’avez pas partagées.

L'ingénierie d'invite traditionnelle tente de résoudre ce problème en exigeant de la précision : « Soyez précis ». "N'exposez que les faits." "N'invente rien."

Cette approche n’a jamais vraiment fonctionné pour moi. L’IA ne fabrique pas à partir de l’ignorance. Il s'agit de combler les lacunes avec des hypothèses raisonnables, des hypothèses qui s'avèrent erronées pour votre situation spécifique.

Voici comment je suis arrivé à cette conclusion.

L'incident RocksDB : le coût des suppositions sûres

Dans notre équipe augmentée par l'IA, nous traitons les agents comme des spécialistes avec des noms et des rôles. Naruse est notre spécialiste de la mise en œuvre, celui qui écrit le code de production.

J'ai chargé Naruse d'écrire le code d'intégration RocksDB. Le résultat semblait plausible : structure propre, appels d’...
[Courte citation de 8% de l'article original]