Comment les DSI tentent de limiter la consommation de tokens - Le Monde Informatique

Les outils et services d’IA générative (GenAI) étant désormais omniprésents (et très populaires) dans les entreprises, les coûts liés à leur utilisation montent en flèche, ce qui entraîne une consommation insatiable de tokens. Les jetons constituent un moyen courant de mesurer et de tarifer l’utilisation de l’IA. À l’instar de ce que représentent des lettres et des mots pour une langue, les grands modèles de langage (LLM) appréhendent une phrase ou une requête en décomposant les mots en tokens. Avec l’explosion de l’IA, ils sont désormais « les unités fondamentales de données que nos modèles traitent, beaucoup d’entre elles représentant un problème en cours de résolution », selon Sundar Pichai, CEO de Google qui - soit dit en passant - traite environ 3,2 quadrillions de tokens par mois.

Mais alors que le coût de tous ces jetons ne cesse d’augmenter, les dirigeants d’entreprise et les responsables IT cherchent des moyens de réduire les coûts tout en maintenant la productivité de leur entreprise. Il faut savoir que l'utilisation incontrôlée des tokens a déjà valu à une entreprise une facture inattendue de 500 M$ liée à l’IA. ...
[Courte citation de 8% de l'article original]