🤗 Noyaux : mises à jour majeures

Dans notre article précédent (De zéro au GPU), nous avons présenté le projet 🤗 Kernels, qui vise à standardiser la façon dont les noyaux personnalisés sont emballés, distribués et consommés. Nous voulons que le projet soit fluide et sécurisé, tout en le rendant aussi convivial que possible pour le Hub.

Au cours des derniers mois, nous avons travaillé vers cet objectif. Dans la foulée, nous avons également repensé presque entièrement le projet. Cet article résumera les principales mises à jour que nous avons expédiées et ce qui s’en vient.

Table des matières

• Noyaux – un nouveau type de référentiel
• Sécurité améliorée
• CLI remaniées
• Plus de couverture des frameworks et des backends
• Fondation pour le développement de noyau agent
• Divers
• Conclusion

Noyaux – un nouveau type de référentiel

Nous avons introduit un nouveau type de référentiel sur le Hub appelé « noyau ». Cela nous permet de répondre aux utilisateurs ayant des spécificités liées au calcul. Par exemple, un utilisateur peut avoir une idée des accélérateurs, des systèmes d'exploitation et des versions backend pris en charge pour un noyau donné :

Page du noyau : kernels-community/flash-attn3

On peut parcourir tous les noyaux disponibles sur le Hub ici : https://huggingface.co/kernels.

Faire de ces noyaux des citoyens de premier ordre du Hub profite également à l’écosystème de l’IA. Les utilisateurs peuvent désormais visualiser les tendances des noyaux, des modèles et des applications qui les utilisent. Les noyaux deviennent plus visibles pour les utilisateurs.

Sécurité améliorée

Les noyaux exécutent du code natif avec les mêmes privilèges que le processus Python qui les charge, de sorte qu'un noyau malveillant peut causer de réels dommages. Par conséquent, la sécurité a toujours été de la plus haute importance pour le projet Kernels.

C'est pourquoi nous nous sommes concentrés très tôt sur la reproductibilité : vous devriez être capable de recompiler un noyau vous-même et de vérifier qu'il correspond à la source publiquement disponible. Nous utilisons Nix pour rendre cela possible, car il maintient les builds pures grâce à une évaluation hermétique de la recette de build et un bac à sable fortement iso...
[Courte citation de 8% de l'article original]