Quand l'IA devient voyou: garde-corps pour les systèmes agentiques

Pourquoi les systèmes multi-agents ont besoin de garde-corps avant qu'ils ne deviennent incontrôlables.

Il y a quelques mois, j'ai regardé deux AIS rester coincés dans une boucle de politesse. Ce moment a lancé un voyage dans une orchestration multi-agents, une défaillance récursive et les réalités de la construction de systèmes d'IA qui ne mangent pas votre portefeuille, implosent du doute existentiel ou de Go Rogue. Voici ce que nous avons appris en construisant l'orchestrateur IA de Scrumbuddy.

La conférence qui m'a brisé le cerveau (et quelques IA)

Plus tôt cette année, j'étais à une conférence technologique à Dubaï à l'écoute d'un haut-parleur parler des pièges de l'IA agentique. Il a décrit une expérience: deux agents chargés de résoudre un problème du jour au lendemain. Le matin, le problème a longtemps été résolu mais les agents allaient toujours, enfermés dans une boucle infinie de politesse, se remerciant sans cesse pour leurs grandes contributions.

Ce moment a résonné dur. Nous avions vu les mêmes problèmes. Ce n'était pas seulement notre problème. C'était quelque chose de plus grand. Comment orchestrez-vous les agents de l'IA afin qu'ils sachent quand s'arrêter? Et qu'est-ce que cela signifie plus largement?

Il est facile de penser à l'orchestration de l'IA comme une simple résolution de tâches. Mais les vraies questions surviennent après:

• Que se passe-t-il lorsque la tâche se termine?
• Comment les agents conviennent-ils qu'ils sont faits?
• Et s'ils ne peuvent pas terminer?
• Que se passe-t-il si le tout est interrompu à mi-chemin?

Nous étions déjà confrontés à ces problèmes nous-mêmes. Et spoiler: ils ne sont pas faciles à résoudre.

L'IA, à bien des égards, est comme un tout-petit avec un doctorat. Brillant, mai...
[Courte citation de 8% de l'article original]