Système de reconnaissance de questions utilisant NLP-BERT à partir de données non étiquetées

DEV - 18/11
Lisez également ce blog sur Global News One avec le référentiel Github Étape 1 : Importer...

Lisez également ce blog sur Global News One avec le référentiel Github

Étape 1 : Importer des bibliothèques

importer réimporter des pandas en tant que pd importer une torche à partir de transformateurs importer BertTokenizer, BertModel depuis sklearn.cluster importer KMeans importer matplotlib.pyplot en tant que plt depuis sklearn.decomposition importer PCA
Entrer en mode plein écran Quitter le mode plein écran

Explication des bibliothèques :

  1. re (Expressions régulières) :

    • Objectif : Fournit des fonctions de traitement de texte, permettant la correspondance de modèles et le remplacement de texte.
    • Pourquoi utilisé : Utilisé pour le prétraitement des questions en supprimant les caractères spéciaux et en convertissant le texte en minuscules, rendant ainsi le texte uniforme.

  2. pandas (Bibliothèque d'analyse de données Python) :

    • Abréviation:pd
    • Objectif : Une puissante bibliothèque de manipulation de données pour le nettoyage, la transformation et l’analyse des données.
    • Pourquoi utilisé : Utilisé pour convertir la liste des questions classifiées en DataFrame pour une révision et une exportation faciles vers un fichier CSV.

  3. torche (PyTorch):

    • Abréviation:torche
    • Objectif : Une bibliothèque d'apprentissage automatique qui fournit des opérations tensorielles et prend en charge l'accélération GPU.
    • Pourquoi utilisé : Utilisé pour charger et gérer le modèle BERT et effectuer des calculs tensoriels sur GPU pour un traitement plus rapide.

  4. transformateurs (Transformers par Hugging Face) :

    • Modules utilisés :BertTokenizeretBertModèle
    • Objectif : Fournit des modèles de transformateurs et des tokeniseurs pré-entraînés, y compris BERT.
    • Pourquoi utilisé : utilisé pour charger le modèle BERT pré-entraîné et le tokenizer afin de convertir les questions en intégrations en fonction de leur signification sémantique.

  5. sklearn (Scikit-Learn) :

    • Modules utilisés :KMoyennespour le regroupement etAPCpour la réduction de dimensionnalité
    • Objectif : une bibliothèque complète d'apprentissage automatique avec des algorithmes de clustering, de classification, de régression, etc.
    • Pourquoi utilisé : utilisé pour regrouper les intégrations en groupes (K-means) et réduire les dimensions pour la visualisation (PCA).

  6. matplotlib (Matplotlib pour le traçage) :

    • Module utilisé :pyplot(abrégé enplt)
    • Objectif : Une bibliothèque de traçage qui permet la création de visualisations statiques, animées et interactives.
    • Pourquoi utilisé : Utilisé pour visual...
      [Courte citation de 8% de l'article original]