L’explosion des petits modèles d’IA est devenue une nouvelle arène pour les géants de l’IA.
La guerre des prix des grands modèles dure éternellement. Les entreprises d’IA qui ont investi d’énormes sommes d’argent ont un besoin urgent de progresser davantage dans leur business. Récemment, elles ont lancé leurs propres petits modèles peu coûteux et faciles à déployer. , et un nouveau cycle de compétition a commencé.
Tout d'abord, HuggingFace a publié SmolLM - 135M, 360M et 1,7B. Il n'utilisait que 650B de jetons pour la formation, mais ses performances dépassaient Qwen 1,5B et Phi 1,5B.
Le lendemain, Mistral AI et NVIDIA ont publié conjointement Mistral NeMo, appelé « le meilleur petit modèle de Mistral AI ». Il est facile à utiliser et peut remplacer directement n'importe quel système utilisant Mistral 7B.
Le même jour, OpenAI s'est lancé dans une « virée shopping » et a lancé une version mini de GPT-4o - GPT-4o Mini. Il a qualifié ce nouveau modèle de « modèle à petits paramètres le plus puissant et le plus rentable » et l'a considéré comme le modèle le plus puissant et le plus rentable. Le modèle d'affichage remplace la position « devant la scène » de la version Web de GPT-3.5.
Pour ne pas être en reste, Apple a sorti le petit modèle DCLM le même jour qu'OpenAI, et il était open source dès sa sortie. "Il s'agit du modèle véritablement open source le plus performant à ce jour", a déclaré Vaishaal Shankar, chercheur scientifique au sein de l'équipe ML d'Apple.
Ces modèles ont de petits paramètres et occupent moins de mémoire, dans des scénarios spécifiques, après un réglage fin, les résultats peuvent être comparables à ceux de grands modèles, ce qui en fait un choix rentable.
« Les petits modèles doivent être plus faciles à réaliser de la valeur. » Xu Xiaotian, architecte en chef des données et de l'intelligence artificielle d'IBM Chine, a déclaré dans une interview avec un journaliste du 21st Century Business Herald : « Un groupe de petits modèles professionnels coopère avec des agents pour réaliser l’intégration des flux commerciaux, de la fonctionnalité et de l’économie. Ce sera plus réalisable sexuellement.
Sur le champ de bataille des modèl...
[Courte citation de 8% de l'article original]