Comment évaluer les nouveaux transformateurs papier de Meta sans normalisation?

Cet article est dominé par deux grands patrons, il Kaiming et Yang Likun, et il ne peut s'empêcher d'être pris au sérieux. La découverte de base est que le transformateur peut atteindre des performances égales ou encore meilleures grâce à des opérations TANH dynamiques simples (DYT) sans utiliser de couche de normalisation.

1. Introduction à la couche de normalisation

1.1 décalage de covariable interne

Lors de la formation de réseaux de neurones profonds, la distribution des intrants à chaque couche change, qui est appelée "changement de covariable interne". Il peut être généralement compris que la distribution d'entrée des données de formation et des données de test est incohérente.

Les décalages de covariables internes peuvent causer les problèmes suivants:

• Le gradient disparaît ou explose: la distribution d'entrée de chaque couche change, ce qui rend difficile pour le réseau d'apprendre car les gradients peuvent disparaître ou exploser.
• Sensibilité au taux d'apprentissage: Un très petit taux d'apprentissage est nécessaire pour assurer la stabilité de la formation.
• Vitesse de convergence lente: parce que la distribution d'entrée de chaque couche change, le réseau prend plus de temps pour converger.

1.2 Méthodes de normalisation courantes

Afin de résoudre le problème du décalage de covariable interne, nous devons normaliser les entrées de chaque couche afin que leur distribution soit stable dans une plage. Les méthodes de normalisation courantes comprennent:

• Batchnorm (2015): Le problème du gradient dans la formation en réseau profond est résolu en standardisant les statistiques de dimension par lots. Batchnorm est normalisé sur la dimension par lots, ciblant les neurones individuels dans la couche moyenne. Pour chaque mini-lot, la moyenne et la variance du neurone sont calculées et tous les échantillons du mini-lots sont normalisés.
• Layernorm (2016): Layernorm est normalisé sur la dimension de la couche, ciblant un seul échantillon de la couche intermédiaire. Pour chaque échantillon, la moyenne et la variance de tous les neurones de cette couche sont calculées, puis normalisées tous les neurones de cette couche. Plus adapté aux données de séquence de traitement.
• RMSNorm (2019): RMSNorm peut être considéré comme une version simplifiée de Layernorm, qui utilise uniquement le carré moyen (RMS) pour la normalisation, en omettant l'étape de soustraction de la moyenne. Il a été adopté par de grands modèles tels que Llama.