В статье показано, что компании стремительно внедряют маршрутизаторы моделей ИИ (AI model router) — программное обеспечение, которое автоматически выбирает наиболее подходящую модель ИИ для каждой задачи,чтобы снизить операционные расходы на ИИ-агентов.
В отличие от обычных чат-ботов, такие агенты, как Claude Code и Codex, могут работать непрерывно в течение нескольких часов, постоянно вызывая модели ИИ и потребляя огромные объемы токенов, из-за чего многие компании оказываются неприятно удивлены огромными счетами за вычисления.
Опрос показывает, что 62% организаций были вынуждены изменить бизнес-решения из-за непредвиденных расходов на ИИ. Из них 40% были вынуждены отчитываться перед советом директоров, 33% ввели экстренный заморозку расходов, а 25% отложили или отменили ИИ-проекты.
Маршрутизаторы моделей ИИ помогают компаниям выбирать оптимальную модель по стоимости, скорости и производительности для каждого этапа рабочего процесса, вместо того чтобы всегда использовать самую мощную модель ИИ.
По данным поставщиков решений, интеллектуальная маршрутизация позволяет снизить затраты на инференс на двузначное число процентов, в некоторых случаях — примерно до 30%.
Многие компании выходят на этот рынок. OpenRouter предоставляет единый шлюз к сотням моделей ИИ и, как сообщается, ведет переговоры о покупке компанией Stripe при оценке до 10 млрд долларов. Not Diamond автоматически выбирает подходящую модель для каждого запроса, а LiteLLM помогает компаниям создавать собственные системы маршрутизации. Salesforce, Databricks, Meta, Cursor, Ramp и Runway также разрабатывают аналогичные решения.
По данным OpenRouter, многие компании ранее не выделяли отдельный бюджет на ИИ, полагая, что использование самой мощной модели всегда является лучшим вариантом. Однако многие задачи достигли состояния «интеллектуального насыщения», что означает, что использование более новой и мощной модели не дает лучших результатов по сравнению со старыми, но более дешевыми моделями.
В статье также отмечается, что в будущем маршрутизаторы моделей ИИ будут не только оптимизировать затраты, но и определять, какая модель используется, к каким данным агентам разрешен доступ, когда использовать дообученные модели с открытым исходным кодом и как выполнять требования безопасности,комплаенса и управления.
Помимо факторов стоимости, прежние ограничения Anthropic на доступ к модели Fable заставили многие компании захотеть снизить зависимость от единственного поставщика ИИ. Маршрутизаторы моделей ИИ рассматриваются как инструмент, помогающий компаниям гибко переключаться между моделями при необходимости.
Эксперты отмечают, что создание маршрутизатора моделей ИИ — это не просто подключение нескольких API,но и необходимость отслеживать тысячи конечных точек моделей, обрабатывать сбои, обновлять технические изменения и поддерживать тесные отношения с поставщиками ИИ.
📌 Маршрутизаторы моделей ИИ зарождаются как новый слой корпоративной инфраструктуры в эпоху ИИ-агентов. По мере того как агенты потребляют все большее количество токенов, автоматический выбор подходящей модели может помочь сократить расходы примерно до 30%, одновременно повышая гибкость при изменениях прав доступа, безопасности и производительности. На следующем этапе маршрутизаторы моделей ИИ,вероятно, станут «мозгом оркестровки», который решает не только то, какая модель используется, но и то, как компании управляют всей своей экосистемой ИИ.
