Ajouter un GPU sans en construire un

Pourquoi l’accélération de l’inférence devient progressivement une infrastructure d’IA essentielle

En IA, les gens parlent de deux choses : à quel point le modèle est intelligent et combien de GPU vous avez réussi à sécuriser. Le goulot d’étranglement avec lequel l’industrie lutte discrètement se situe ailleurs : l’efficacité avec laquelle vous utilisez réellement les GPU dont vous disposez déjà.

TL;DR

• La formation a lieu une fois ; l'inférence se produit tout le temps que les utilisateurs utilisent le produit - donc l'économie d'un service se résume au coût par jeton.
• L'accélération d'inférence ne fabrique pas de GPU. Dans le logiciel, cela transforme le GPU dont vous disposez en l’équivalent de plusieurs : même matériel, même puissance, débit multiplié.
• À titre d'exemple concret, VKAE a atteint un débit de flux unique jusqu'à 23,4 fois supérieur sur le même GPU, sans perte de qualité de sortie, et expédie un conteneur afin que vous puissiez le reproduire vous-même.
• Le mécanisme lui-même devrait être publié sous forme de document ; les résultats et les moyens de les vérifier sont publiés en premier.

1. Le vrai concours ne consiste pas à construire un modèle, mais à l'exécuter

Chaque fois que quelqu’un pose une question à une IA, un GPU tourne. Chaque ligne de production représente de l'électricité et du temps de serveur, et à mesure que les utilisateurs augmentent, ce « coût de fonctionnement » fait boule de neige.

Un fait est central : la formation a lieu une seule fois, mais l'inférence a lieu pendant toute la durée d'utilisation du produit par vos utilisateurs. Ainsi, les profits et les pertes d’un service d’IA se résument en fin de compte au coût par jeton. Le véritable champ de ...
[Courte citation de 8% de l'article original]