L’article montre que les entreprises déploient rapidement des routeurs de modèles d’IA (AI model routers), des logiciels qui sélectionnent automatiquement le modèle d’IA le plus adapté à chaque tâche afin de réduire les coûts d’exploitation des agents IA.
Contrairement aux chatbots ordinaires, les agents tels que Claude Code et Codex peuvent fonctionner en continu pendant des heures, appelant sans cesse des modèles d’IA et consommant une quantité énorme de jetons (tokens), ce qui surprend de nombreuses entreprises avec des factures de calcul très élevées.
Une enquête montre que 62 % des organisations ont dû modifier leurs décisions commerciales en raison de dépenses imprévues liées à l’IA. Parmi elles, 40 % ont dû rendre des comptes au conseil d’administration, 33 % ont appliqué un gel d’urgence des dépenses et 25 % ont retardé ou annulé des projets d’IA.
Les routeurs de modèles d’IA aident les entreprises à choisir le modèle optimal en termes de coût, de vitesse et de performance pour chaque étape d’un flux de travail, au lieu d’utiliser systématiquement le modèle d’IA le plus puissant.
Selon les fournisseurs de solutions, le routage intelligent peut réduire les coûts d’inférence à deux chiffres, et dans certains cas jusqu’à environ 30 %.
De nombreuses entreprises entrent sur ce marché. OpenRouter fournit une passerelle unifiée vers des centaines de modèles d’IA et serait en discussions pour être racheté par Stripe pour une valorisation pouvant atteindre 10 milliards de dollars. Not Diamond sélectionne automatiquement le modèle approprié pour chaque requête, tandis que LiteLLM aide les entreprises à bâtir leur propre système de routage. Salesforce, Databricks, Meta, Cursor, Ramp et Runway développent également des solutions similaires.
Selon OpenRouter, de nombreuses entreprises ne prévoyaient auparavant pas de budget spécifique pour l’IA, estimant que l’utilisation du modèle le plus puissant était toujours la meilleure option. Cependant, de nombreuses tâches ont atteint un état de « saturation de l’intelligence », ce qui signifie que l’utilisation d’un modèle plus récent et plus puissant n’apporte pas de meilleurs résultats que des modèles plus anciens mais moins coûteux.
L’article suggère également qu’à l’avenir, les routeurs de modèles d’IA ne se contenteront pas d’optimiser les coûts, mais décideront également quel modèle est utilisé, à quelles données les agents ont le droit d’accéder, quand utiliser des modèles open-source affinés, et comment répondre aux exigences de sécurité, de conformité et de gouvernance.
Outre les facteurs de coût, les restrictions passées imposées par Anthropic sur l’accès au modèle Fable ont incité de nombreuses entreprises à vouloir réduire leur dépendance envers un seul fournisseur d’IA. Les routeurs de modèles d’IA sont considérés comme un outil permettant aux entreprises de basculer de manière flexible entre les modèles en cas de besoin.
Les experts soulignent que la construction d’un routeur de modèles d’IA ne se résume pas à la connexion de plusieurs API, mais exige également le suivi de milliers de points de terminaison de modèles, la gestion des incidents, la mise à jour des modifications techniques et le maintien de relations étroites avec les fournisseurs d’IA.
📌 Les routeurs de modèles d’IA s’imposent comme une nouvelle couche d’infrastructure d’entreprise à l’ère des agents IA. Alors que les agents consomment des volumes de jetons de plus en plus importants, la sélection automatisée du modèle approprié peut permettre de réduire les coûts jusqu’à environ 30 %, tout en augmentant la flexibilité face aux changements de droits d’accès, de sécurité et de performances. Lors de la prochaine phase, les routeurs de modèles d’IA deviendront probablement le « cerveau d’orchestration » qui décidera non seulement quel modèle est utilisé, mais aussi de la manière dont les entreprises gèrent l’ensemble de leur écosystème d’IA.
