이 기사는 기업들이 AI 에이전트의 운영 비용을 줄이기 위해 각 작업에 가장 적합한 AI 모델을 자동으로 선택해주는 소프트웨어인 AI 모델 라우터(AI model router)를 빠르게 도입하고 있음을 보여준다.
일반 챗봇과 달리 Claude Code 및 Codex 같은 에이전트는 수 시간 동안 연속으로 작동하며 지속적으로 AI 모델을 호출하고 방대한 양의 토큰을 소비하여, 많은 기업들이 막대한 컴퓨팅 비용 청구서에 놀라게 하고 있다.
한 조사에 따르면 조직의 62%가 예상치 못한 AI 지출 때문에 비즈니스 결정을 변경해야 했다. 이 중 40%는 이사회에 보고해야 했고, 33%는 긴급 지출 동결을 적용했으며, 25%는 AI 프로젝트를 연기하거나 취소했다.
AI 모델 라우터는 항상 가장 강력한 AI 모델을 사용하는 대신, 워크플로우의 각 단계에서 비용, 속도, 성능 측면에서 최적의 모델을 선택하도록 돕는다.
솔루션 제공업체들에 따르면 지능형 라우팅은 추론(inference) 비용을 두 자릿수, 경우에 따라 약 30%까지 줄일 수 있다.
많은 기업들이 이 시장에 진입하고 있다. OpenRouter는 수백 개의 AI 모델에 대한 통합 게이트웨이를 제공하며,Stripe에 최대 100억 달러의 가치로 인수되는 협상을 진행 중인 것으로 알려졌다. Not Diamond는 각 요청에 적합한 모델을 자동으로 선택하며, LiteLLM은 기업이 자체 라우팅 시스템을 구축하도록 돕는다. Salesforce,Databricks, Meta, Cursor, Ramp, Runway도 유사한 솔루션을 개발하고 있다.
OpenRouter에 따르면, 많은 기업들이 가장 강력한 모델을 사용하는 것이 항상 최고라고 생각했기 때문에 이전에 AI 전용 예산을 책정하지 않았다. 그러나 많은 작업이 ‘지능 포화(intelligence-saturated)’ 상태에 도달했으며, 이는 더 새롭고 강력한 모델을 사용하는 것이 더 저렴하지만 오래된 모델에 비해 더 나은 결과를 내지 못한다는 것을 의미한다.
이 기사는 또한 미래에 AI 모델 라우터가 비용 최적화뿐만 아니라 어떤 모델이 사용되는지, 에이전트가 어떤 데이터에 접근할 수 있는지, 미세 조정된 오픈소스 모델을 언제 사용할지, 그리고 보안, 규정 준수 및 거버넌스 요구 사항을 어떻게 충족할지 결정하게 될 것이라고 시사한다.
비용 요인 외에도 앤트로픽(Anthropic)이 과거 Fable 모델 접근을 제한한 적이 있어 많은 기업들이 단일 AI 공급업체에 대한 의존도를 낮추고 싶어하게 만들었다. AI 모델 라우터는 기업이 필요할 때 모델 간을 유연하게 전환할 수 있도록 돕는 도구로 여겨진다.
전문가들은 AI 모델 라우터 구축이 단순히 여러 API를 연결하는 것뿐만 아니라 수천 개의 모델 엔드포인트 추적, 장애 처리, 기술 변경 업데이트, AI 공급업체와의 긴밀한 관계 유지가 필요하다고 지적한다.
📌 AI 모델 라우터는 AI 에이전트 시대의 새로운 기업 인프라 계층으로 부상하고 있다. 에이전트가 점점 더 많은 양의 토큰을 소비함에 따라 적절한 모델을 자동으로 선택하면 비용을 약 30%까지 절감할 수 있으며, 접근 권한, 보안, 성능 변화에 대한 유연성을 높일 수 있다. 다음 단계에서 AI 모델 라우터는 어떤 모델이 사용되는지뿐만 아니라 기업이 전체 AI 생태계를 어떻게 관리하는지 결정하는 ‘조율의 브레인’이 될 가능성이 높다.
