Votre facture IA est un problème de routage, pas un problème de modèle

DEV - 21/07
L'écart de prix à l'heure actuelle : modèles à poids ouvert autour de 0,14 $ par million de jetons d'entrée. Frontière...

L'écart de prix à l'heure actuelle : modèles à poids ouvert autour de 0,14 $ par million de jetons d'entrée. Produits phares Frontier à 5,00 $. Cela représente un écart de 35 fois — et la plupart des pipelines envoient chaque requête à la requête la plus coûteuse, car tout acheminer vers le meilleur modèle est l'architecture que vous obtenez lorsque vous ne prenez pas de décision d'architecture.

La solution est ennuyeuse. C'est mon type de solution préféré.

Première étape : classer la charge de travail, pas le modèle

Arrêtez de demander « quel modèle est le meilleur ? » et commencez à demander « quelles tâches sont bon marché et sûres ? » La répartition est presque toujours la même :

  • Volume élevé, faible ambiguïté : extraction, classification, formatage, résumé → niveau bon marché
  • Raisonnement en plusieurs étapes, tout ce qui est orienté client → niveau frontière

Même interface devant les deux, afin q...
[Courte citation de 8% de l'article original]