Présentation des seaux de stockage sur le hub Hugging Face

Les référentiels Hugging Face Models et Datasets sont parfaits pour publier des artefacts finaux. Mais le ML de production génère un flux constant de fichiers intermédiaires (points de contrôle, états de l'optimiseur, fragments traités, journaux, traces, etc.) qui changent souvent, proviennent de plusieurs tâches à la fois et nécessitent rarement un contrôle de version.

Les compartiments de stockage sont conçus exactement pour cela : un stockage d'objets mutable de type S3 que vous pouvez parcourir sur le Hub, créer un script à partir de Python ou gérer avec lehfCLI. Et comme ils s’appuient sur Xet, ils sont particulièrement efficaces pour les artefacts ML qui partagent du contenu entre fichiers.

Pourquoi nous avons créé des Buckets

Git commence assez rapidement à ressembler à une mauvaise abstraction lorsque vous avez affaire à :

• Clusters de formation écrivant des points de contrôle et des états d'optimisation tout au long d'une exécution
• Pipelines de données traitant des ensembles de données brutes de manière itérative
• Agents stockant des traces, de la mémoire et des graphiques de connaissances partagées

Le besoin de stockage dans tous ces cas est le même : écrire rapidement, écraser si nécessaire, synchroniser les répertoires, supprimer les fichiers obsolètes et faire avancer les choses.

Un bucket est un conteneur de stockage sans version sur le Hub. Il réside sous un espace de noms d'utilisateur ou d'organisation, dispose d'autorisations Hugging Face standard, peut être privé ou public, possède une page que vous pouvez ouvrir dans votre navigateur et peut être adressé par programme avec un...
[Courte citation de 8% de l'article original]