Dans le paysage en évolution rapide de l’IA générative, le secteur est témoin d’un changement important. Alors que le mantra « plus c'est gros, c'est mieux », dominé par « plus c'est gros, c'est mieux ». Cependant, le vent tourne. À mesure que les organisations passent des projets pilotes expérimentaux aux applications de production, l’attention s’est déplacée vers les petits modèles linguistiques (SLM). Ces modèles offrent une latence plus faible, des coûts de calcul réduits et la possibilité de fonctionner sur des appareils de pointe tout en conservant des performances qui rivalisent avec des modèles massifs comme GPT-4 dans des tâches spécifiques.
Microsoft Azure s'est positionné comme la première destination pour ces modèles, en les proposant via le framework Model-as-a-Service (MaaS) et le catalogue de modèles Azure AI. Dans cet article, nous proposons une analyse technique approfondie de trois des SLM les plus importants disponibles sur Azure : Phi-3 de Microsoft, Llama 3 (8B) de Meta et Snowflake Arctic. Nous analyserons leurs architectures, leurs performances de référence, leurs stratégies de déploiement et leur rentabilité pour vous aider à décider quel modèle correspond à votre charge de travail spécifique.
La famille Phi-3 de Microsoft représente une avancée majeure dans la manière d'obtenir la qualité des modèles. Plutôt que de s'appuyer sur le volume considérable de données récupérées sur le Web, Phi-3 a été formé sur des données « spécifiques à Phi-3 », une combinaison de données Web hautement filtrées et de données synthétiques conçues pour ressembler à la clarté et à la valeur pédagogique des manuels scolaires.
Le Phi-3 est disponible en plusieurs tailles, mais le Phi-3 Mini (paramètres 3,8B) est le plus populaire pour les cas d'utilisation SLM. Malgré sa petite taille, il surpasse fréquemment les modèles deux fois plus grands (comme Llama 2 7B ou Mistral 7B) dans les tâches de raisonnement et de logique. Il utilise une architecture Transformer dense et est optimisé pour ONNX Runtime, ce qui le rend idéal pour le déploiement multiplateforme.
Avantages :