[Global Times Report Reporter MA Jun] Note de l'éditeur: 2025 est considéré comme la première année de mise en œuvre à grande échelle des applications d'IA. Bien que la technologie de l'IA apporte une commodité révolutionnaire, son impact négatif a également attiré de plus en plus d'attention. En particulier, l'illusion de l'IA, le soi-disant problème de «non-sens», limite l'application de l'IA dans de nombreux domaines et provoque même des préoccupations dans la gouvernance sociale. Comment relever les défis relevés par les hallucinations de l'IA? Le Global Times Research Institute a récemment organisé un séminaire spécial sur le «Forum mondial des sciences et technologies de la frontière · Exploration du consensus de la gouvernance de l'IA et des solutions chinoises» et a invité de nombreux experts de l'industrie à discuter des sujets connexes.
Le problème de l'hallucination est-il un "métier de naissance" de l'évolution de l'IA?
Les enquêtes pertinentes montrent que dans l'enquête sur le questionnaire "quels sont les problèmes importants dans le processus d'utilisation des applications d'IA?", Le plus grand nombre de commentaires étaient "un contenu inexact ou de fausses informations", représentant 42,2%.
Shi Lin, directeur du Département de la sécurité et de l'intelligence incarnée de l'Institut d'intelligence artificielle de la China Academy of Information and Communications Technology, a présenté que l'illusion de l'IA mentionnée dans l'industrie se réfère principalement au contenu pertinent généré par le grand modèle, qui est incompatible avec la contribution réelle du monde ou des utilisateurs. Il est essentiellement causé par des facteurs tels que les défauts de conception de la formation du gros modèle, les données insuffisantes et les écarts architecturaux. Plus simplement, le principe sous-jacent d'un grand modèle est basé sur le mécanisme endogène de probabilité. Pendant le processus de génération, il a tendance à sélectionner des expressions à haute fréquence dans les données de formation. Par conséquent, dans la réponse, l'IA sélectionnera constamment des mots avec la plus grande probabilité d'occurrence. Cependant, l'un des mots produit une erreur. L'IA ne sait pas quelles réponses correctes ou objectives et ne les corrigeront pas elles-mêmes, ce qui entraîne une nouvelle expansion de l'erreur.
En général, les hallucinations de l'IA peuvent être divisées en trois catégories: les hallucinations factuelles, c'est-à-dire l'IA avec le plus de commentaires du public, la fabrication de faux événements, les connaissances inexistantes induites et les inférences qui violent le bon sens, etc.; Les hallucinations fidèles sont principalement dues au mécanisme d'attention du grand modèle actuel, qui ne peut pas maintenir la cohérence des textes ultra-longs et montrer une contradiction contextuelle. Par exemple, l'IA affirme d'abord un point de vue, puis nie le même point de vue, entraînant l...
[Courte citation de 8% de l'article original]