Création de backends natifs pour l'IA – pipelines RAG, appels de fonctions, versionnage rapide, observabilité LLM

Il y a deux mois, notre chatbot de base de connaissances interne a déclaré avec assurance à un représentant du support que notre politique de remboursement était de « 14 jours, sans poser de questions ». Notre véritable politique est de 30 jours avec approbation pour des montants plus importants.

Un remboursement de 2 000 $ a été effectué sur la base de cette hallucination.

C'est à ce moment-là que nous avons arrêté de traiter les fonctionnalités LLM comme des « zones de texte intelligentes » et avons commencé à les traiter comme des systèmes distribués peu fiables qui nécessitent une véritable ingénierie.

Cet article ne concerne pas les démos. Il s’agit de ce que vous devez construire après le fonctionnement de la démo.

La réalité des backends d’IA

Les backends traditionnels sont déterministes.

Même entrée → même sortie.

Les backends d’IA sont probabilistes.

Même entrée → sortie légèrement différente selon le contexte, la variance du modèle et la structure de l'invite.

Cela signifie:

• Vous ne pouvez pas faire confiance aux résultats
• Vous ne pouvez pas faire confiance à la récupération
• Vous ne pouvez pas faire confiance aux invites
• Vous ne pouvez pas faire confiance aux appels d'outils
• Il faut tout observer

Un backend d’IA de production finit par ressembler à ceci :

API │ AI Orchestrator ├─ Gar...
[Courte citation de 8% de l'article original]