Publié à l'origine sur theculprit.ai/blog/anthropic-prompt-caching-90-percent.
Les coûts de LLM augmentent à une échelle de production plus rapide que ne le suggère l'autopsie de la facture de démonstration.
La forme du problème : vous expédiez une fonctionnalité qui appelle Claude à chaque événement significatif. Le premier mois, la facture est arrondie et personne ne la regarde. Le deuxième mois, le trafic d'un client augmente et l'élément de campagne représente soudainement 5 % du chiffre d'affaires. Le troisième mois, votre responsable financier envoie un message poli à Slack pour savoir s'il s'agit « d'une tendance réelle des coûts ou d'une hausse ponctuelle », et tous les membres de l'équipe d'ingénierie doivent défendre une décision d'architecture qu'ils ont prise il y a huit semaines lorsque la facture était une erreur d'arrondi.
Vous pouvez réduire cela. Non pas en étant intelligent sur la façon dont vous appelez le modèle, mais en étant intelligent sur ce qui est constant dans vos appels. La mise en cache rapide d'Anthropic, dans notre cas, fait passer le coût d'entrée par RCA du plein débit à un dixième du plein débit sur un taux d'accès au cache de plus de 90 %. Ce n’est pas une hypothèse ; c'est ce que nous mesurons en production, et les calculs sont suffisamment simples pour que vous puissiez les parcourir ici afin que vous puissiez exécuter les chiffres sur votre propre pipeline.
Anthropic publie quatre niveaux de prix par modèle. Pour Claude Haiku 4.5, le modèle que nous exécutons par défaut pour l'analyse des causes profondes des incidents, ces points sont (vérifiés à partir de la documentation de l'API Anthropic) :
| Catégorie de jeton | Haïku 4.5 |
|---|---|
| Entrée de base | 1,00 $ par million de jetons |
| Écriture du cache (TTL de 5 minutes) | 1,25 $ par million de jetons |
| Lecture du cache | 0,10 $ par million de jetons |
| Sortir | 5,00 $ par million de jetons |
Deux choses à lire dans ce tableau :