L'attention n'est pas tout ce dont vous avez besoin

Mamba : L'IA qui se souvient comme un transformateur mais pense comme un RNN. Sa mémoire à long terme améliorée pourrait révolutionner le traitement de l’ADN, l’analyse vidéo et les agents d’IA à objectifs persistants.

Mistral a annoncé un modèle Codestral Mamba à paramètre 7B. Bien qu'il existe actuellement de nombreux modèles plus petits, celui-ci a quelque chose de spécial : cette fois, il ne s'agit pas seulement de taille, mais d'architecture.

Codestral Mamba (7B) a été testé par rapport à d'autres modèles de taille similaire ainsi qu'à certains modèles plus grands :

Source : https://mistral.ai/news/codestral-mamba/

Comme vous pouvez le constater, Codestral Mamba bat carrément la plupart des modèles de sa taille et rivalise également en termes de performances avec les modèles Codestral22B et CodeLlama34B beaucoup plus gros.

Le dilemme du transformateur

Les transformateurs constituent la pierre angulaire des LLM, alimentant tout, des LLM open ...
[Courte citation de 8% de l'article original]