Newsletter des vues filtrées Voxel51 - 23 août 2024

Auteur : Harpreet Sahota (Hacker en résidence chez Voxel51)

Bienvenue dans le résumé hebdomadaire de Voxel51 des dernières actualités, événements et ressources sur l'IA, l'apprentissage automatique et la vision par ordinateur ! Abonnez-vous à la version email.

📰 Le pouls de l'industrie

NVIDIA et Mistral AI lancent un modèle de langage puissant et efficace

NVIDIA a récemment annoncé la sortie de Mistral-NeMo-Minitron-8B, un nouveau modèle de base développé en collaboration avec Mistral AI. Ce modèle de 8 milliards de paramètres démontre des performances exceptionnelles dans diverses tâches de traitement du langage naturel.

• Origines : Ce modèle paramétrique 8B est dérivé du plus grand modèle Mistral NeMo 12B en utilisant une combinaison d'élagage en largeur et de distillation des connaissances.

• Performances : Mistral-NeMo-Minitron 8B fait preuve d'une précision de pointe pour sa taille, surpassant les autres modèles 8B, tels que Llama-3.1 8B et Gemma 7B, sur divers critères.

• Efficacité : le développement du modèle met en évidence l’efficacité de la taille et de la distillation itératives, réduisant ainsi les coûts de formation par rapport à une formation à partir de zéro.

• Techniques : Le processus de développement impliqué :

  • Mise au point de l'enseignant : le modèle original Mistral NeMo 12B a été affiné sur un ensemble de données spécifique pour corriger les changements de distribution.
  • Taille en largeur uniquement : la taille du modèle a été réduite en élaguant les dimensions intermédiaires d'intégration et MLP tout en préservant le nombre de têtes d'attention et de couches.
  • Distillation : Le modèle élagué a ensuite été formé en utilisant la distillation des connaissances du modèle d'enseignant affiné.

Lisez le blog technique pour plus de détails.

Phi-3.5 : le défi ouvert de Microsoft à OpenAI et Google

Au-delà de son partenariat OpenAI, Microsoft lance trois nouveaux modèles Phi-3.5, démontrant ses capacités indépendantes de développement d'IA. Les trois modèles ...
[Courte citation de 8% de l'article original]