Construire un "Détecteur de Bullshit" pour les LLM en utilisant Node.js et pgvector

Vous avez passé des semaines à peaufiner vos invites. Vous avez mis en place un système de récupération robuste. Vous validez chaque élément de données entrant dans votre fenêtre contextuelle.

Et pourtant, votre robot RAG (Retrieval-Augmented Generation) indique toujours en toute confiance aux utilisateurs des choses complètement fausses.

Cela n’arrive pas souvent, mais lorsque cela arrive, cela détruit la confiance des utilisateurs. Le problème des LLM en production n'est pas seulement de les amener à répondre ; c'est savoir quand ils mentent (hallucinent).

Les pratiques standard d'ingénierie logicielle, telles que les tests unitaires basés sur les expressions régulières, ne fonctionnent pas sur les sorties en langage naturel non déterministes. Nous avons besoin d'une nouvelle couche dans notre pile.

Voici comment j'ai abordé la création d'un middleware "Bullshit Detector" en utilisant TypeScript, Node.js et PostgreSQL avecpgvect...
[Courte citation de 8% de l'article original]