Notes sur Llama 4: Les tubes, les miss et les catastrophes

Le Llama 4 est ici, et cette fois, la famille Llama a trois modèles différents: Llama 4 Scout, Maverick et Behemoth. Alors que les deux premiers sont disponibles sur plusieurs plateformes, le géant, selon Zuck et Meta, est toujours en formation. Et il battrait l'état actuel de la technologie.

Il n'y a aucune amélioration dans la partie de licence; Les modèles sont livrés avec la même licence LLAMA qui restreint toute entreprise avec plus de 700 millions d'utilisateurs actifs mensuels d'utiliser les modèles sans autorisation de Meta et n'est pas non plus disponible pour les Européens.

C'est fou pourquoi ils persistent avec cette fausse licence lorsque Deepseek V3 0324 et R1 sont facilement disponibles sous le MIT. De plus, il n'est pas disponible pour les Européens. Une licence de lama dans le Big 2025 est criminel.

Mais de toute façon, contrairement au Llama 3, Meta est passée de modèles denses à un mélange d'experts (Moes). Les deux modèles sont livrés avec un mélange clairsemé d'experts: le Scout a 17B actif et 109b au total avec 16 experts, et le Maverick a 400b au total et 17b de paramètres actifs avec 128 experts.

Il n'y a pas de modèles locaux cette fois; Tout le monde s'attendait à ce que Meta apporte des modèles denses plus petits (3b, 8b, 32b, 70b) comme la dernière fois. Mais bon, nous obtenons toujours deux modèles ouverts, sauf ses compatriotes européens.

Table des matières

• Le pas
• Les coups
  • 10m en longueur de contexte
  • Natif multimodal
  • Distillation enseignante-élève
• Les miss
  • Pas assez
  • Positionnement confus
• Les catastrophes
  • Pas vraiment 10m
  • Bounders de référence
  • La terreur du tokenizer
• Il y a encore de l'espoir

Tl; dr

• Meta a précipité la sortie de Llama 4 Maverick et Scout. (Serait-ce les tarifs?)
• Le scout a un gigantesque 10 m de longueur de contexte et le Maverick a 1 m.
• Les modèles ont été dérivés du plus grand géant de lama, un modèle 2T.
• Le modèle est gravement décevant sur tous les fronts: génération de code, écriture et conversations quotidiennes.
• Les modèles ont tendance à produire des réponses verbales (yappant, ils l'appellent).
• Les modèles sont si mauvais Meta a dû fusionner les repères.

Le pas

Meta: Aujourd'hui, c'est le début d'une nouvelle ère d'innovation nativement multimodale d'IA.

Aujourd'hui, nous présentons les premiers modèles Llama 4: Llama 4 Scout et Llama 4 Maverick - nos modèles les plus avancés à ce jour et le meilleur de leur classe pour la multimodalité.

Llama 4 Scout

• Modèle de paramètre a...
[Courte citation de 8% de l'article original]