J'ai abandonné les LLM Cloud pour Gemma 4 4B : vérification de la réalité en 48 heures par un ingénieur DevOps

DEV - 24/05
Ceci est une soumission pour le défi Gemma 4 : Écrire sur Gemma 4 I Ditched Cloud LLM...

Ceci est une soumission pour le défi Gemma 4 : Écrire sur Gemma 4

J'ai abandonné les LLM Cloud pour Gemma 4 4B : vérification de la réalité en 48 heures par un ingénieur DevOps

L'IA locale n'est pas seulement une question de confidentialité, c'est une question d'architecture. Voici ce qui s'est passé lorsque j'ai déplacé mes flux de travail DevOps quotidiens hors du cloud.

La question à 847 $

Mardi dernier, mon responsable m'a posé une question d'une simplicité trompeuse : "Combien dépensons-nous en API d'IA ce mois-ci ?"

J'ai ouvert le tableau de bord. 847 $. Pour le résumé des journaux, les examens de la configuration de Terraform et l'invite occasionnelle « Expliquez cette trace de pile cryptique ». Rien d'extraordinaire. Pas de pipelines de données massifs. Juste un ingénieur DevOps qui s'appuie sur les LLM cloud pour avancer plus rapidement.

C'est à ce moment-là que j'ai décidé de voir si le Gemma 4 4B, le plus petit modèle ouvert de Google, pouvait remplacer 80 % de cette utilisation. Gratuitement. Localement. Sur un ordinateur portable qui se trouve déjà sur mon bureau.

Codez, rivalisez, déployez... puis laissez le modèle local gérer la panique pendant que je bois mon ...
[Courte citation de 8% de l'article original]

Loading...