Arrêtez de dire à votre robot RAG de ne pas halluciner. Rendre cela impossible.

La suggestion que chaque application RAG ignore

Si vous avez livré un assistant de récupération augmenté, vous avez écrit une version de cette ligne dans l'invite de votre système :

"Si la réponse n'est pas dans le contexte fourni, dites que vous ne savez pas. N'inventez rien."

Et vous avez vu le modèle l’ignorer joyeusement sous la pression. Une question qui semble confiante arrive, la récupération renvoie quelque chose de adjacent et le modèle assemble une réponse plausible, fluide et fausse. Dire à un modèle de langage de ne pas halluciner est une suggestion – et les suggestions perdent face à l’écrasante priorité du modèle pour être utiles.

J'en avais assez de lutter contre cela avec une formulation rapide, j'ai donc essayé un cadrage différent lors de la création de MCP SDK Docs Assistant, un assistant pour le SDK TypeScript Model Context Protocol. Le cadrage : ne demandez pas au modèle de refuser, supprimez sa capacité de fabrication.

Refus sous forme de code, pas comme une invite

L’idée centrale est que le modèle ne peut halluciner que si vous lui donnez du matériel à partir duquel halluciner....
[Courte citation de 8% de l'article original]