Transformateurs dans le développement de la PNL

Les transformateurs sont un type d'architecture de réseau neuronal qui a révolutionné le domaine du traitement du langage naturel (NLP). Ils ont été introduits dans l'article « L'attention est tout ce dont vous avez besoin » en 2017 et sont depuis devenus la norme de facto pour de nombreuses tâches de PNL.

Principales caractéristiques des transformateurs :

• Mécanisme d'auto-attention : cela permet au modèle de peser l'importance des différentes parties de la séquence d'entrée lors du traitement d'un jeton particulier. Ceci est crucial pour capturer les dépendances à longue portée dans le texte.

• Architecture codeur-décodeu...
  [Courte citation de 8% de l'article original]