Le routage du modèle est simple. Jusqu'à ce que ce ne soit pas le cas.

Intégrer un routeur à votre agent semble être une victoire facile. Envoyez des requêtes simples vers des modèles moins chers, réservez les plus coûteuses pour des tâches plus difficiles ou acheminez par spécialité : Claude pour le code, Gemini pour le multimodal, etc. Un classificateur ou une heuristique prend la décision, les coûts diminuent, les performances restent élevées. Fait.

Sauf que ce n’est pas le cas. La plupart des systèmes de routage supposent que la sélection du modèle est un problème de classification. D'après notre expérience dans la création de routage dans des systèmes agentiques, ce qui ressemble à un problème de sélection de modèle devient rapidement un problème d'optimisation des systèmes. Les trois dimensions ont rendu cela étonnamment difficile pour nous.

1. Le coût est supérieur à la tarification modèle

Nous nous attendions à ce que GPT-4.1 soit moins cher que Claude Sonnet 4.6. Ce n’était pas le cas.

Sur 417 tâches de l'AppWorld Test Challenge utilisant le même agent CodeAct, Sonnet a coûté au total 79 $ (0,19 $/tâche), tandis que GPT-4.1 a coûté 155 $ (0,37 $/tâche), soit près du doub...
[Courte citation de 8% de l'article original]