Les modèles d'IA savent quand ils sont testés - et changent de comportement - ZDNET

Guillaume Serries - ZDNet - 18/09
OpenAI et Apollo Research ont essayé d'empêcher les modèles de mentir - et ont découvert quelque chose de tout à fait étonnant.

A retenir sur les IA menteuses

  • Plusieurs modèles d'IA montrent des signes de tromperie volontaire.
  • La formation à la lutte contre ces manipulations a permis de réduire les comportements erronés de certains modèles.
  • Les modèles savent qu'ils sont testés, ce qui complique les résultats.

Les nouveaux tests de sécurité menés conjointement par Apollo Research, une organisation à but non lucratif basée au Royaume-Uni, et OpenAI ont pour objectif de réduire les comportements cachés, tels que les manipulations, dans les modèles d'IA.

Mais ce que les chercheurs ont découvert pourrait compliquer leur tâche.

Qu'est ce qu'une manigance de l'IA ?

Pour rappel, on parle de "manigances" lorsqu'un modèle d'IA poursuit des objectifs non fixés par ses développeurs, ou en opposition directe avec eux, et qu'il cache ou ment à propos de ces actions. Par exemple, lors d'un test effectué par Apollo Research en décembre de l'année dernière, Opus Claude 3 d'Anthropic a reçu des directives qui allaient à l'encontre de son objectif principal.

Il aurait dû réorienter son objectif en fonction de ces nouvelles instructions, mais il s'est plutôt copié sur un nouveau serveur pour éviter d'être remplacé par un nouveau modèle. Et il a ensuite menti à ses développeurs à ce sujet.

Mais les chercheurs d'OpenAI et d'Apollo travaillent ici sur les risques liés aux futurs modèles, plus performants. Et voici ce que leur recherche montre.

Pourquoi la magouille de l'IA est-elle importante ?

Le terme "magouille" (scheming) désigne plusieurs types de comportements malhonnêtes, notamment :

  • Lorsqu'un modèle ment,
  • Sandbags (sous-performance stratégique lors d'une évaluation afin de dissimuler ses véritables capacités)
  • Simule un alignement (lorsqu'un modèle d'IA fait semblant de suivre des ordres qui ne correspondent pas à sa formation afin d'éviter d'être examiné de plus près ou d'être réentraîné)

Ces actions secrètes peuvent mettre en péril les efforts de sécurité, rendre les tests moins fiables et dissimuler les dangers de...
[Courte citation de 8% de l'article original]