(3/4) LLM: à l'intérieur du transformateur

Ce message a été écrit en avril 2023, donc certaines pièces peuvent maintenant être un peu dépassées. Cependant, la plupart des idées clés sur les LLM restent tout aussi pertinentes aujourd'hui.

Encodeur uniquement, décodeur uniquement

Le transformateur complet d'encodeur-détecteur est puissant, mais tout le monde n'a pas besoin des deux moitiés. Les chercheurs ont demandé: Et si nous n'utilisions que l'encodeur? Et si nous n'utilisions que le décodeur?

Encodeur uniquement

Le modèle le plus célèbre encodeur uniquement? Bert. Bert ne garde que la pile d'encodeur. Parfois, tout ce dont vous avez besoin est une bonne représentation du texte (vecteurs de contexte), pas de génération.

Idéal pour les tâches de classification:

• Cette revue est-elle positive ou négative?

• Cette phrase contient-elle le nom d'une personne?

La classification fonctionne sur les intérêts. Meilleurs incorporations → Meilleurs classificateurs. Bert examine le texte bidirectionnellement, encode des phrases entières et produit de riches représentations. Branchez-les sur un classificateur et des sauts de précision.

Bert est-il un modèle de langue? Strictement, non - il ne fait pas de prédiction auto-régulière du prochain mot. Il est formé comme un modèle de langage masqué (prédire le mot manquant), qui est différent de la LMS traditionnelle.

Décodeur uniquement

De l'autre côté: GPT. GPT (GPT-2/3, Chatgpt, GPT-4…) ne conserve que la pile de décodeur.

Pourquoi laisser tomber l'encodeur? Si votre objectif est juste une prédiction du mot de prochain - la tâche LM pure - vous pouvez nourrir le décodeur avec le texte jusqu'à présent et le...
[Courte citation de 8% de l'article original]