Konkani LLM : Apporter un langage multi-scripts à faibles ressources à l'ère de l'IA

Les grands modèles linguistiques (LLM) ont pris d'assaut le monde, mais leurs prouesses linguistiques sont largement orientées vers les langues à ressources élevées. Lorsqu’il s’agit de langues indiennes régionales et à faibles ressources, dotées d’orthographes multi-scripts complexes, même les modèles les plus modernes trébuchent.

Aujourd'hui, nous sommes ravis de vous présenter le projet Konkani LLM : une initiative dédiée à intégrer Konkani dans l'écosystème moderne de l'IA. Le konkani est une langue indienne reconnue, originaire des régions de Goa et de Konkan.

Dans cet article, nous vous présenterons notre méthodologie.

Explorez les modèles et les ensembles de données et essayez la démo vous-même :

• Organisation Hugging Face : huggingface.co/konkani
• Démo en direct : konkani.app

Le défi : rareté des données et fragmentation des scripts

Konkani présente un défi unique pour le traitement du langage naturel (NLP). Les données parallèles de haute qualité sont rares et la langue est ...
[Courte citation de 8% de l'article original]