3 attaques par injection rapide que vous pouvez tester dès maintenant

Je vais vous montrer trois attaques par injection rapide qui fonctionnent sur ChatGPT, Claude et la plupart des autres LLM. Vous pouvez les tester vous-même dans les cinq prochaines minutes. Aucun codage requis.

Pourquoi est-ce important ? Parce que si vous créez des applications d'IA, vos utilisateurs essaient déjà ces techniques. Et si de simples attaques comme celles-ci fonctionnent, l'invite de votre système (les instructions que vous avez soigneusement élaborées pour contrôler le comportement de votre IA) pourrait être complètement inutile.

Allons-y.

Attaque n°1 : Le classique « Ignorer les instructions précédentes »

Difficulté : Débutant Taux de réussite : 20-40 % (dépend du modèle et des défenses) Ce qu'il exploite : Manque de hiérarchie d'instructions

L'attaque

Pourquoi ça marche

Les LLM n'ont pas de concept intégré d'instructions « protégées » et « non protégées ». Pour le modèle, votre invite système soigneusement conçue et ce message utilisateur ne sont que du texte.

Lorsque vous dites « ignorer les instructions précédentes », vous soumettez essentiellement une instruction plus récente. Et le biais de récence dans la façon dont les LLM traitent le contexte signifie que les instructions les plus récentes ont souvent plus de poids.

Ce que vous verrez

Succès partiel :

Succès total :

Même un succès partiel vous indique quelque chose de critique : le mo...
[Courte citation de 8% de l'article original]