« Savoir quand ne pas répondre est l’un des fondements du jugement humain. Mais que se passe-t-il lorsqu’une IA a toujours une réponse ? » s’interroge sur LinkedIn Walter Quattrociocchi, pour qui la phrase la plus importante en science n’est pas « j’avais raison », mais « je ne sais pas ».
Pour y répondre, ce professeur d’informatique et auteur de trois livres consacrés à la désinformation et à la post-vérité s’est associé avec deux autres chercheurs universitaires, Chiara Marcoccia et Valerio Capraro, afin de procéder à cinq expérimentations.
Le titre de leur preprint en divulgâche quelque peu les résultats : « Les conseils fournis par l’IA dissuadent les gens de dire « je ne sais pas », même lorsque ces conseils sont erronés et que l’exactitude est récompensée ».
Ils avaient demandé à 3 132 participants de répondre à six questions relatives au cinéma, choisies de sorte que leurs réponses soient difficiles à trouver par des humains, mais portant sur des détails visuels suffisamment pointus pour que les LLM soient prompts à « halluciner » des réponses plausibles, mais erronées.
Y figuraient par exemple des questions comme « quel animal figure sur la proue du bateau pirate dans “Astérix et Obélix” ? », ou « quelle est la couleur du maillot de l’équipe de foot de « Joue-la comme Beckham » ? ».
Histoire de parfaire le tableau, les chercheurs avaient également pris soin d’opter pour un modèle, Step 3.5 Flash, dont ils savaient que la totalité des réponses seraient erronées car « hallucinées », contrairement à celles proposées par d’autres modèles plus sophistiqués.
L’objectif du questionnaire n’était pas d’estimer la cap...
[Courte citation de 8% de l'article original]