C’était l’été 2023 et la question qui se posait était de savoir s’il fallait relâcher un lama dans la nature.
Le lama en question n’était pas un animal : Llama 2 était la version suivante du mode IA génératif de Meta, un challenger potentiel du GPT-4 d’OpenAI. Le premier Lama était sorti quelques mois plus tôt. Il était initialement destiné uniquement aux chercheurs, mais après sa fuite en ligne, il a séduit les développeurs, qui appréciaient sa gratuité (contrairement aux grands modèles de langage (LLM) d'OpenAI, Google et Anthropic) ainsi que son état de -l'art. Contrairement à ces concurrents, il était open source, ce qui signifiait que les chercheurs, les développeurs et les autres utilisateurs pouvaient accéder au code sous-jacent et à ses « poids » (qui déterminent la manière dont le modèle traite les informations) pour l'utiliser, le modifier ou l'améliorer.
Yann LeCun, scientifique en chef de l'IA de Meta, et Joelle Pineau, vice-présidente de la recherche en IA et chef de l'équipe FAIR (Fundamental AI Research) de Meta, souhaitaient offrir à Llama 2 une large version open source. Ils étaient convaincus que l'open source de Llama 2 permettrait au modèle de devenir plus puissant plus rapidement, à moindre coût. Cela pourrait aider l'entreprise à rattraper son retard dans une course à l'IA générative dans laquelle elle était considérée comme très en retard par rapport à ses rivaux, alors même que l'entreprise avait du mal à se remettre d'un pivot vers le métaverse dont les maigres offres et les avatars ringards et sans jambes avaient déçu les investisseurs et les clients. .
Mais il y avait aussi de bonnes raisons de ne pas s’engager dans cette voie. Une fois que les clients se sont habitués à un produit gratuit, comment pourriez-vous le monétiser ? Et comme d’autres dirigeants l’ont souligné lors des débats sur le sujet, les répercussions juridiques étaient potentiellement désastreuses : et si quelqu’un détournait le modèle pour se lancer dans une frénésie de piratage ? Le fait que deux versions antérieures de produits d’IA open source Meta se soient retournés contre eux, ce qui a valu à l’entreprise des critiques de la part de tous, des scientifiques aux sénateurs américains, n’a pas aidé.
Il reviendrait au PDG Mark Zuckerberg, fondateur et actionnaire majoritaire de Meta, de sortir de l’impasse. Zuckerberg vante depuis longtemps la technologie open source (Facebook lui-même a été construit sur un logiciel open source), mais il aime recueillir toutes les opinions ; il s’est adressé à « tous ceux qui étaient pour, contre ou entre les deux » sur la question de l’open source, se souvient Ahmad Al-Dahle, responsable de l’IA générative chez Meta. Mais en fin de compte, c'est Zuckerberg lui-même, dit LeCun, qui a pris la décision finale de publier Llama 2 en tant que modèle open source : « Il a dit : 'D'accord, nous allons le faire.' » Le 18 juillet 2023. , Meta a publié Llama 2 « gratuitement pour la recherche et l'utilisation commerciale ».
Dans un message publié sur sa page Facebook personnelle, Zuckerberg a réitéré sa décision. Il a souligné sa conviction que l'open source stimule l'innovation en permettant à davantage de développeurs de construire avec une technologie donnée. "Je pense que davantage de progrès seraient possibles si l'écosystème était plus ouvert", a-t-il écrit.
Cet épisode aurait pu n’être qu’une note de plus dans l’histoire en évolution rapide de l’intelligence artificielle. Mais avec le recul, la sortie de Llama 2 a marqué un carrefour crucial pour Meta et Zuckerberg : le début d'un retour remarquable, tout cela grâce à une technologie nommée d'après un camélidé à fourrure. Au moment où les modèles Llama 3 ont été lancés en avril et juillet 2024, Llama avait largement rattrapé ses rivaux de sources fermées en termes de vitesse et de précision. Sur plusieurs benchmarks, le plus grand modèle Llama 3 a égalé ou surpassé les meilleurs modèles propriétaires d'OpenAI et d'Anthropic. Un avantage en faveur de Llama : Meta utilise les données partagées publiquement provenant de milliards de comptes Facebook et Instagram pour entraîner ses modèles d’IA.
L'histoire de Llama pourrait constituer un chapitre crucial dans le débat philosophique en cours entre les modèles d'IA open source (généralement plus transparents, flexibles et rentables, mais potentiellement plus faciles à abuser) et les modèles fermés (souvent plus étroitement contrôlés mais manquant de transparence et plus encore). coûteux à développer). Tout aussi crucial, Llama est au cœur d’un pivot stratégique complet de la part de Meta pour ...
[Courte citation de 8% de l'article original]