Mlperf Storage v2.0: Juicefs mène dans l'utilisation de la bande passante et l'évolutivité pour la formation IA

Le 5 août, le Consortium Global AI d'ingénierie autoritaire MLCommons a publié les derniers résultats de référence MLPERF® Storage V2.0. Cette évaluation a attiré de nombreux fournisseurs, y compris ceux de catégories telles que le cloud, le fichier partagé, le bloc d'attaches en tissu et le stockage de blocs attachés directement.

En raison des différences dans les configurations matérielles, les échelles de nœuds et les scénarios d'application entre les fournisseurs, les comparaisons directes des fournisseurs ont des limites. Par conséquent, cet article se concentrera sur la catégorie du système de fichiers partagé, analysant leurs performances selon les mêmes normes de test.

JUICEFS est un système de fichiers distribué haute performance prenant en charge les déploiements cloud et locaux. À travers plusieurs charges de travail de formation d'IA, les JUICEF ont obtenu d'excellents résultats, en particulier en conduisant dans l'utilisation de la bande passante et l'évolutivité. Dans cet article, nous analyserons les résultats des tests spécifiques et introduirons davantage les caractéristiques clés qui sous-tendent ces performances.

Mlperf Storage v2.0 et ses charges de travail

MLPerf est une suite de référence AI universelle lancée par MLCommons. Le stockage MLPerf simule l'accès à la charge de travail de l'IA réel aux systèmes de stockage via plusieurs clients. Il reproduit les charges de stockage dans les clusters de formation distribués à grande échelle pour évaluer de manière approfondie les performances pratiques des systèmes de stockage dans les tâches de formation d'IA.

La dernière version 2.0 comprend trois types de charges de travail de formation, couvrant les modèles d'E / S les plus représentatifs de la formation en profondeur.

• 3D U-NET (Segmentation d'images médicales): Cette charge de travail implique des lectures séquentielles et simultanées d'images médicales 3D à grand volume. Chaque échantillon fait des moyennes d'environ 146 Mo et est stocké en tant que fichier indépendant. Cette tâche teste principalement le débit du système de stockage dans des scénarios de lecture séquentiels à grand fichier et sa capacité à maintenir une réactivité stable sous un accès multi-nœuds simultané.
• RESNET-50 (Classification d'image): Cette charge de travail est caractérisée par des lectures aléatoires très simultanées de petits échantillons. Chaque échantillon ne fait que 150 Ko, avec des données emballées et stockées dans des fichiers volumineux à l'aide du format tfrecord. Cette organisation de données conduit à des E / S aléatoires significatives et à l'accès fréquemment des métadonnées pendant la formation. Il impose des exigences extrêmement élevées sur les IOPS du système de stockage. Il s'agit d'un test crucial pour mesurer les performances simultanées dans les scénarios à petits fichiers.
• Cosmoflow (prédiction...
  [Courte citation de 8% de l'article original]