[Application de communication ASL basée sur l'IA] - Partie 1 : Formation sur un modèle de détection de signes rentable sur AWS EKS

Récemment, j'ai eu l'idée d'une application qui facilite la communication par signes ASL. Je voulais expérimenter et voir si c'était réalisable. Mais d’abord, j’ai besoin d’un modèle capable de détecter suffisamment bien les signes. Je ne suis pas un scientifique en ML, mais plutôt un ingénieur en IA. La formation ML est donc quelque chose que j'apprends encore.

J'ai commencé par rechercher des modèles existants. Impossible d'en trouver un prêt à l'emploi qui fonctionne pour mon cas d'utilisation :

• Google SignGemma – Pas encore rendu public
• SignLLM - Approche intéressante mais conçue pour un flux de travail différent (traduction de signature en texte vs détection en temps réel)

La plupart des solutions existantes se concentrent sur l’orthographe digitale (alphabet) plutôt que sur les signes au niveau des mots. J'ai donc exploré la formation de mon propre modèle avec un ensemble de données ASL.

Premiers résultats :

Défis

Trois choses que je devais comprendre :

• Aucun modèle existant approprié - Rien que je puisse simplement télécharger et utiliser pour la détection ASL au niveau des mots
• Sélection de l'ensemble de données : quel ensemble de données contient suffisamment d'échantillons par classe pour un entraînement fiable ?
• Approche de formation – Comment obtenir des résultats efficaces sans calcul massif ?

Sélection d'ensembles de données : pourquoi WLASL-100

J'ai évalué plusieurs ensembles de données :

• MS-ASL – Cel...
  [Courte citation de 8% de l'article original]