Comment SubQ compte diviser votre facture IA par 1000 !

Et si le problème des LLM n’était pas seulement de mieux raisonner, mais de lire plus grand sans ruiner l’infrastructure et les budgets IT ? Le nouveau modèle SubQ de la startup Subquadratic promet de casser le réflexe du « tout compare tout » du principe des LLMs actuels grâce à une « attention éparse », avec des implications directes pour le RAG, les agents de code et les données métier.

Ce n’est certainement pas « le lancement le plus important depuis ChatGPT » comme la presse américaine tend à la présenter. Mais l’annonce de Subquadratic et de son modèle de raisonnement SubQ 12B mérite attention parce qu’elle vise à corriger l’un des défauts structurels des grands modèles actuels : leur difficulté à traiter de très longs contextes sans faire exploser les coûts.Depuis 2017 (et l’article fondateur « Attention Is All You Need »), la plupart des grands modèles de langage reposent sur l’architecture Transformer (la fameuse architecture de Google Research sur laquelle repose tous les grands LLMs et qui justifie le T de GPT). Son principe clé, l’attention, permet au modèle de mettre chaque mot – ou plutôt chaque token – en relation avec les autres pour comprendre le contexte. C’est ce mécanisme qui a rendu possibles les...
[Courte citation de 8% de l'article original]