Auto-héberger un modèle signifie également auto-héberger son évaluation

DEV - 07/07
L'IA locale n'a pas supprimé le travail du fournisseur. Il vient de vous le remettre, sans rémunération et pour la plupart inaperçu.

TL;DR— L'exécution de modèles à pondération ouverte déplace localement le coût réel des factures d'API vers la dette d'évaluation. La quantification, le choix du moteur et le changement de version modifient tous silencieusement le comportement du modèle, et la plupart des équipes ne testent jamais à nouveau après avoir apporté ces modifications. La partie la plus difficile de l'IA locale n'est pas d'installer des pondérations, mais de créer le pipeline d'évaluation continue que les fournisseurs exécutaient pour vous.

Chaque argumentaire pour les modèles à poids ouvert se termine de la même manière : téléchargez les poids, pointez dessus un moteur d'inférence et vous êtes libre. Pas de limite de taux, pas de dépendance vis-à-vis d'un fournisseur, pas de dépréciations surprises. Ce que cet argument laisse de côté, c'est que le vendeur faisait quelque chose pour vous en plus de vous servir des jetons. Ils exécutaient des suites d'évaluation pour chaque modification avant sa livraison. Au moment où vous vous auto-hébergez, ce travail ne disparaît pas. Cela devient le vôtre et presque personne ne prévoit de budget pour cela.

La quantification est une compression et la compression est avec perte

La seule raison pour laquelle l’IA locale est viable sur du matériel normal est ...
[Courte citation de 8% de l'article original]