Aperçu Hy3 : un Hunyuan reconstruit, un MoE 21B-Active et une nouvelle recette d'assaisonnement

1. Qu'est-ce que l'aperçu Hy3 ?

Hy3 Preview est un modèle de raisonnement de fusion open source qui intègre une réflexion rapide et lente. Avec 295B de paramètres totaux et seulement 21B de paramètres activés, il s'impose comme le modèle le plus performant en termes d'activation.

Actuellement, il existe deux voies principales dans le développement mondial du LLM : l'une recherche une intelligence plus élevée grâce à des paramètres totaux extrêmement larges et des paramètres d'activation élevés ; l'autre recherche la rentabilité en utilisant des paramètres totaux élevés mais de petits paramètres d'activation. L'aperçu Hy3 trace sa propre voie, atteignant des performances proches de la deuxième approche avec des paramètres totaux et activés encore plus petits, grâce à des innovations en matière d'architecture, de qualité des données et d'efficacité de la formation.

Au sein de ses 295 milliards de paramètres au total, chaque expert est méticuleusement optimisé en termes de qualité de formation, de précision de routage et de mélange de données, garantissant que chaque...
[Courte citation de 8% de l'article original]