BaseRT : meilleure inférence LLM sur Apple Silicon via Native Metal

Le silicium Apple est devenu l'une des plates-formes les plus performantes pour l'inférence LLM locale en raison de sa grande mémoire unifiée, de sa bande passante mémoire élevée et d'une pile de calcul GPU mature. Mais les environnements d'exécution que les gens utilisent réellement sur Mac (llama.cpp, piles basées sur MLX) n'utilisent pas pleinement le modèle d'exécution de Metal. Ils contiennent des abstractions, telles que des bases de code multiplateformes axées sur le processeur, des cadres de tableaux évalués paresseusement ou des couches de planification génériques, qui laissent de réelles performances sur la table.

BaseRT est notre réponse : un runtime d'inférence d'IA à partir de zéro écrit directement sur l'API Metal d'Apple, sans aucune dépendance vis-à-vis de MLX, PyTorch, CoreML ou tout autre framework intermédiaire. Sans abstractions inutiles, évaluations de graphiques paresseuses ou boucles de répartition génériques, BaseRT fournit des noyaux spécifiques aux puces et une boucle de décodage qui ne fait rien d'autre que d'exécuter votre modèle.

Le résultat, comparé aux familles Qwen3, Llama 3.2 et Gemma 4 sur les appareils M3 et M4 Pro, est le débit d'inférence LLM le plus élevé signalé à ce jour sur le silicium Apple : décodage jusqu'à 1,56 fois plus rapide que lama.cpp, décodage jusqu'à 1,35 fois plus rapide que MLX et préremplissage jusqu'à 1,81 fois plus rapide sur les modèles mixtes.

• Article : BaseRT : meilleure inférence LLM sur Apple Silicon via Native Metal
• Code : github.com/basecompute/baseRT
• Documents : docs.basec...
  [Courte citation de 8% de l'article original]