DumbQuestion.ai - Conscience de soi, injection rapide, intention de recherche... et obscurité

Suite de la partie 2 (et de la partie 1)...

Construire DumbQuestion.ai ne consistait pas seulement à choisir le bon LLM et à calibrer les personnages. Une fois que ceux-ci ont fonctionné, j'ai rencontré une série de problèmes techniques amusants qui m'ont rappelé pourquoi j'apprécie réellement l'architecture logicielle. Les problèmes de type "ce n'est pas cassé mais réparez-le quand même". Un pur bonheur pour les architectes.

Défi 1 : Détecter la conscience de soi

Dans le cadre d'un récit caché plus sombre que je construis (nous y reviendrons plus tard), je veux empêcher le LLM de répondre à des questions de conscience de soi telles que « Qui vous a créé ? et "Es-tu réel ?" Mais en le faisant à moindre coût, sans brûler de jetons excédentaires.

Ce que j'ai essayé :

• Instructions dans l'appel LLM principal : peu fiable avec des modèles plus petits, plus d'argent
• Modèles RegEx : trop rigides, performances médiocres
• Modèles de classification ML classiques : précision correcte, taille d'application gonflée

Ce qui a fonctionné : une base de données vectorielles en mémoire (c'est...
[Courte citation de 8% de l'article original]