Voici comment créer et entraîner GPT-2 à partir de zéro à l'aide de PyTorch

Êtes-vous fatigué de toujours utiliser ChatGPT et curieux de savoir comment créer votre propre modèle de langage ? Eh bien, vous êtes au bon endroit ! Aujourd'hui, nous allons créer à partir de zéro GPT-2, un modèle de langage puissant développé par OpenAI, capable de générer un texte de type humain en prédisant le mot suivant dans une séquence.

Pour approfondir la théorie et l'architecture de GPT-2, je recommande fortement de lire The Illustrated GPT-2 de Jay Alammar. Cet article fournit une excellente explication visuelle et intuitive de GPT-2 et de son fonctionnement interne. Je ferai référence à certains visuels de l’article pour mieux expliquer les choses.

J'ai essayé de rendre cela aussi simple que possible. Toute personne possédant n’importe quel niveau de Python ou d’apprentissage automatique peut suivre et créer le modèle.

Ressources

Ce projet vous guidera à travers toutes les étapes de création d'un modèle GPT-2 simple et vous entraînera sur un tas de chansons de Taylor Swift et Ed Sheeran. Nous verrons ce que cela donnera à la fin :).

L'ensemble de données et les codes sources de cet article seront disponibles sur Github.

J'ajouterai également un bloc-notes Jupyter qui reproduit cet article afin que vous puissiez suivre l'exécution du code et la compréhension côte à côte.

Construire l'architecture GPT-2

Nous avancerons ce projet étape par étape en améliorant continuellement un modèle simple et en ajoutant des couches basées sur l'implémentation originale de GPT-2.

Voici les étapes que nous suivrons :

1. Construire un Tokenizer personnalisé

2. Construire un chargeur de données

3. Former un modèle de langage simple

4. Implémenter l'architecture GPT-2 (partie 2) 🔗

Ce projet est divisé en deux parties, la première passe en revue les bases de la modélisation du langage et la partie 2 passe directement à la mise en œuvre de GPT-2. Je vous suggère de suivre l'article et de le créer vous-même, ce qui rend l'apprentissage de GPT-2 plus intéressant et amusant.

Remarque : L'ensemble de ce projet sera réalisé dans un seul fichier Python, il vous sera donc facile de le suivre bloc par bloc.

Modèle final :

Sortie du modèle final :