Pourquoi un texte long est-il important pour les grands modèles ?
Article|Sun Xin
Éditeur|Yao Yun
Source de l'image d'en-tête|Visual China
2 millions de mots, qu'est-ce que ça veut dire ? "La biographie d'Elon Musk" compte 300 000 mots, "Un rêve de demeures rouges" compte 700 000 mots et "La biographie de Zhen Huan" compte 1 million de mots. Si le calcul est basé sur une vitesse de lecture de 10 000 mots en 20 minutes et de 30 000 mots en 1 heure, il faudrait alors environ 66,67 heures pour lire 2 millions de mots.
Et pour une lecture aussi marathonienne, il y a de fortes chances qu’il soit avalé en entier.
Le 18 mars, la startup nationale d'IA Moonshot AI a annoncé une nouvelle avancée dans la technologie de fenêtre à contexte long de grand modèle. L'assistant intelligent Kimi prend en charge 2 millions de mots de contexte ultra-long sans perte et lancera désormais le produit en version bêta interne. Plus tard, les grandes entreprises ont emboîté le pas et ont allongé la longueur du texte. Le 22, Alibaba Tongyi Qianwen a ouvert gratuitement à tous la fonction de traitement de documents longs de 10 millions de mots ; le 23, 360 Intelligence a annoncé qu'elle pouvait traiter 5 millions de mots lors de tests internes ;
En d'autres termes, désormais, avec des produits tels que Kimi, Tongyi Qianwen et 360 Intelligent Brain, vous pouvez lire les trois livres « La biographie d'Elon Musk », « Un rêve de demeures rouges » et « La légende de Zhen Huan » en environ 10 minutes, et comprenez-les dans leur contexte.
En fait, les textes longs ont longtemps été un champ de bataille pour l'AGI (Artificial General Intelligence) : en novembre 2023, OpenAI a publié GPT4 Turbo, qui prend en charge les entrées avec une longueur de contexte allant jusqu'à 128 000 ; 14 jours plus tard, Antrophric a publié en urgence Claude 2.1, annonçant des capacités contextuelles ; Une percée, passée de 100 000 à 200 000 ; en février 2024, Gemini 1.5 a annoncé que la fenêtre de texte longue prenait en charge 1 million de longueur, soit 750 000 mots.
Alors, que signifient ces chiffres et ces normes ? Quelle est exactement la capacité de traitement du contexte de texte long ? Nous avons sélectionné Kimi, Tongyi Qianwen, Claude et d'autres produits pour tester l'expérience.
Claude d'Antrophric a déjà été reconnu pour ses capacités de traitement de textes longs accrocheuses ; Tongyi Qianwen d'Alibaba peut actuellement traiter 10 millions de mots, ce qui est dans le premier échelon dans l'ordre des mots ; Kimi a rendu The Dark Side of the Moon populaire en rai...
[Courte citation de 8% de l'article original]