Les petits modèles sont devenus un outil puissant permettant aux entreprises d’IA de réduire leurs coûts et d’augmenter leur efficacité.
Article|Sun Xin
Éditeur|Yao Yun
Source de l'image d'en-tête|Visual China
Zuckerberg prédit que l'utilisation de l'assistant Meta AI dépassera ChatGPT dans quelques mois.
Au petit matin du 24 juillet, le géant américain de la technologie Meta a lancé le grand modèle open source le plus puissant à ce jour - Llama 3.1 405B (405 milliards de paramètres), et a également publié de nouvelles versions mises à niveau des modèles Llama 3.1 70B et 8B.
Llama 3.1 405B prend en charge une longueur de contexte de 128 000 jetons. Il s'agit du modèle open source le plus puissant avec la plus grande échelle de paramètres au monde à ce jour. Il est formé sur plus de 16 000 GPU H100 basés sur 15 000 milliards de jetons. moment de l'histoire de Meta Un modèle de lama formé à cette échelle.
En raison de ses bonnes performances, de son open source et de sa coopération multipartite, le nombre total de téléchargements de toutes les versions du modèle Llama a dépassé les 300 millions de fois. Les résultats d'évaluation des chercheurs basés sur plus de 150 ensembles de tests de référence montrent que Llama 3.1 405B est comparable aux modèles leaders du secteur tels que GPT-4o, Claude 3.5 Sonnet et Gemini Ultra, notamment Amazon AWS, Nvidia, Microsoft Azure et Google Cloud25. La société a conclu une coopération avec Meta et a introduit Llama 3.1.
"Pour nous, c'est une pause après une longue sécheresse", a déclaré Jimmy, un analyste indépendant, à China Entrepreneur. Souffrant depuis longtemps du manque de données de formation de haute qualité à long terme, les développeurs du domaine mondial de l'IA ont finalement marqué le début de l'open source. De manière générale, les modèles experts plus petits (tailles de paramètres allant de 1 milliard à 10 milliards) utilisent généralement des « techniques de distillation », c'est-à-dire des modèles plus grands pour améliorer les données d'entraînement. Cependant, en raison de la source fermée du géant OpenAI, le manque de telles données de formation est un problème commun à tous les principaux modèles.
Le débat entre open source et source fermée a toujours été un sujet central dans le cercle de l'I...
[Courte citation de 8% de l'article original]