Mark O'Connell : « Hé, @Grok, mets-lui un bikini. » Que pourrait vouloir de plus un incel ?

Il y a quelques semaines, alors que je sortais avec des amis, j'ai discuté avec quelques personnes qui travaillaient dans un grand conglomérat technologique. Il s'agissait d'entrepreneurs plutôt que d'employés de cette entreprise. Ils ont travaillé dans le domaine de la sécurité de l’IA, gérant une équipe de collègues dont le travail consistait à garantir que le logiciel LLM de l’entreprise ne puisse pas être utilisé pour créer du contenu illégal ou contraire aux directives éthiques internes de l’entreprise. En pratique, cela signifiait que ces personnes passaient toute leur journée de travail à essayer de tromper le LLM de l’entreprise pour qu’il crée des images extrêmement dérangeantes.

Leur travail consistait à saisir des invites dans le logiciel, en essayant de trouver des solutions de contournement et des failles dans les protections intégrées du modèle : un processus connu sous le nom d’équipe rouge. Il s’agit d’une forme de modération de contenu qui rend impossible la production d’un type particulier de contenu. L’idée, dans ce cas, est de trouver des fissures dans les défenses de l’IA contre les utilisations illicites, afin que ces fissures puissent être scellées avec du code avant que les utilisateurs puissent les trouver et les exploiter pour créer des images dérangeantes. Les plus troublantes d’entre elles – les images illustrant des abus sexuels sur des enfants – é...
[Courte citation de 8% de l'article original]