文章指出,企业正在迅速部署AI模型路由器(AI model router)——这是一种自动为每项任务选择最合适AI模型的软件,旨在降低AI Agent的运营成本。
与普通聊天机器人不同,Claude Code和Codex等Agent可以连续运行数小时,不断调用AI模型并消耗大量Token,令许多企业对巨额计算账单感到措手不及。
一项调查显示,62%的组织因意料之外的AI支出而不得不改变商业决策。其中,40%需要向董事会报告,33%实施了紧急支出冻结,25%推迟或取消了AI项目。
AI模型路由器帮助企业在工作流程的每个步骤中选择成本、速度和性能最优的模型,而不是始终使用最强大的AI模型。
据解决方案提供商称,智能路由可以将推理成本降低两位数,在某些情况下高达30%左右。
许多公司正在进入这一市场。OpenRouter提供了访问数百个AI模型的统一网关,据报道正在与Stripe进行谈判,拟以高达100亿美元的估值将其收购。Not Diamond自动为每个请求选择正确的模型,而LiteLLM则帮助企业构建自己的路由系统。Salesforce、Databricks、Meta、Cursor、Ramp和Runway也在开发类似的解决方案。
据OpenRouter称,许多企业此前并未单独为AI做预算,因为他们认为使用最强大的模型总是最好的。然而,许多任务已经达到了“智力饱和”状态,这意味着使用更新、更强大的模型并不比旧的但更便宜的模型取得更好的结果。
文章还指出,未来AI模型路由器不仅将优化成本,还将决定使用哪个模型、允许Agent访问哪些数据、何时使用微调后的开源模型,以及如何满足安全、合规和治理要求。
除了成本因素外,Anthropic此前对Fable模型访问权限的限制,让许多企业希望减少对单一AI提供商的依赖。AI model router被视为帮助企业在需要时灵活切换模型的工具。
专家指出,构建AI模型 router不仅仅是连接多个API,还要求追踪数千个模型端点、处理故障、更新技术变更并与AI提供商保持紧密关系。
📌 在AI Agent时代,AI模型路由器正崭露头角,成为企业的新基础设施层。随着Agent消耗的Token越来越庞大,自动选择合适的模型可以将成本降低约30%,同时提高应对访问权限、安全性和性能变化的灵活性。在下一阶段,AI model router很可能成为“调度大脑”,不仅决定使用哪个模型,还决定企业如何管理其整个AI生态系统。

