Comment réduire de 70 % les coûts de mon API LLM sans toucher à mon code

Je regardais ma facture AWS et mon estomac s'est effondré. 214 $ pour les appels API AI le mois dernier. C'est plus que mon hébergement, ma base de données et toute mon infrastructure réunis. Et je ne faisais même pas quelque chose de fou : juste une poignée d'appels LLM par requête dans un projet parallèle qui attire peut-être 500 utilisateurs par jour.

Le pire ? Je savais que je payais trop cher, mais je me sentais coincé. Le code fonctionnait. Les réponses ont été bonnes. Tout réécrire pour échanger des fournisseurs ou ajouter une mise en cache me semblait être des mois de travail que je n'avais pas.

J’ai donc fait ce que n’importe quel ingénieur paresseux ferait : j’ai cherché un raccourci. Et ce que j’ai trouvé m’a époustouflé. J'ai réduit mes coûts d'API de 70 % en un après-midi, sans modifier une seule ligne du code de mon application. Voici exactement comment.

Le coût réel de « Utilisez simplement OpenAI »

Lorsque j'ai commencé à créer mon application basée sur l'IA, j'ai opté pour le choix évident : OpenAI. Cela a fonctionné immédiatement, l'API était propre et les résultats étaient solides. Mais au bout de quelques mois, les factures ont commencé à grimper. 50$, puis 100$, puis 200$. J'uti...
[Courte citation de 8% de l'article original]