Comment former votre transformateur 🐲

Les dragons sont cool. Ils sont mythiques ; ils peuvent voler et cracher du feu. Les transformateurs ne sont pas moins un dragon dans le monde de l’IA. Vous devez les apprivoiser pour les faire voler. Et croyez-moi, ils ont besoin de beaucoup d’apprivoisement et de soins, probablement plus qu’un vrai dragon. Si vous vous trompez, autant finir comme Ash Ketchum. C’est en partie de l’art, en partie de la science.

Ce sont les étapes que vous pouvez utiliser pour mieux entraîner votre transformateur.

1. Ne formez pas un transformateur

Oui, vous avez bien entendu. Les transformateurs ne sont pas les meilleurs pour toutes les tâches d'IA. Il est parfois préférable d'utiliser une autre méthode éprouvée. Par exemple, je mettais en place un réseau pour l’apprentissage supervisé des jeux et j’avais de sérieux problèmes pour faire fonctionner un transformateur. Cela m'a conduit dans un terrier de lapin en essayant de comprendre ce qui fonctionne et ce qui ne fonctionne pas avec Transformers. Finalement, j'ai fini par utiliser 3D Convolutions avec ResNet 3D et j'ai obtenu de bien meilleurs résultats (article à ce sujet à venir). Si vous souhaitez capturer les relations temporelles, les méthodes ...
[Courte citation de 8% de l'article original]