Comment fonctionne un cycle de demande et de réponse LLM ? Une procédure pas à pas complète

Dans cet article de blog, nous verrons comment fonctionne un cycle de requête et de réponse LLM, à partir de la seconde où vous appuyez sur Envoyer jusqu'au moment où le dernier mot arrive sur votre écran. Je ne vous lancerai pas un mur de mathématiques sur les transformateurs. Au lieu de cela, nous suivrons une seule invite à chaque étape du voyage, afin que rien ne semble abstrait.

Une seule invite envoyée à un grand modèle de langage passe par plusieurs étapes distinctes avant qu'une réponse n'apparaisse à l'écran. Le processus commence par la création par l'application client d'une requête JSON structurée, qui efface ensuite une passerelle API avant que le texte saisi ne soit divisé en jetons numériques et assemblé dans la fenêtre contextuelle du modèle.

Le modèle exécute ensuite un passage direct à travers les couches de transformateur pour prédire un jeton à la fois, en répétant cette boucle jusqu'à ce qu'un signal de fin de séquence soit atteint. Les jetons sont renvoyés au client au fur et à mesure de leur production et sont reconvertis progressivement en texte lisible, ce qui explique l'apparence mot par mot des réponses.

J'ai été curieux de savoir comment cartographier cela correctement lors de la création de iamspeed.dev, mon outil d'analyse comparative LLM basé sur un navigateur. Avant de pouvoir mesurer des éléments tels que le nombre de jetons par seconde ou le temps écoulé avant le premier jeton, j'ai dû comprendre exactement ce qui se passe entre « vous appuyez sur Entrée » et « les mots commencent à apparaître ». Il s’avère que cet écart comporte beaucoup plus d’étapes que ce que la plupart des gens pensent.

L'exemple que nous suivrons

Gardons un exemple dans tout le message. Supposons que vous...
[Courte citation de 8% de l'article original]