- 2026년 10월 16일, 가트너는 토큰 생성 비용이 계속 하락하더라도 AI 에이전트 워크플로당 추론 비용은 2028년까지 5배 이상 증가할 것으로 전망했다.
- 가트너는 이러한 현상을 ‘추론의 역설(Inference Paradox)’이라고 부른다. 컴퓨팅 효율성은 향상되지만 기업이 더 많은 토큰을 소비하는 고성능 모델을 사용하기 때문이다.
- 가트너에 따르면 동일한 작업을 수행할 때 AI 에이전트는 기본적인 챗봇보다 5~30배 많은 토큰을 소비한다. 추론 능력을 갖춘 에이전트 모델로 전환하면 공급업체의 추론 비용도 최소 5배 증가한다.
- 주요 원인은 AI 기업들이 더 많은 컴퓨팅 자원을 요구하는 첨단 모델에 지속적으로 투자하는 동시에, 기업들이 AI를 더욱 복잡한 워크플로로 확대 적용하고 있다는 점이다.
- 가트너는 비용이 꾸준히 상승하기보다는 새로운 기술이 출시될 때마다 단계적으로 변동할 것으로 전망했다.
- 벤처비트가 109명을 대상으로 실시한 설문조사에 따르면, 에이전트 오케스트레이션 플랫폼을 사용하는 기업 중 21%는 토큰 비용을 자동으로 제한하는 장치를 갖추지 못했다.
- 반면 31%는 예산을 통제하기 위해 반복적이고 처리량이 많은 작업을 더 저렴한 모델로 전환했다.
- 가트너는 AI FinOps를 통한 비용 모니터링 강화와 업무 결과별 비용 측정을 권고한다.
- 기업은 작업에 적합한 모델로 업무를 자동 배정하고, 단순한 작업에 비싼 모델을 사용하는 일을 피해야 한다.
- 그 밖의 대책으로는 효율성 기준 설정, 비용 위험 테스트, 자체 데이터를 활용한 특화 모델 개발 등이 있다.
📌 가트너는 AI 에이전트 비용이 토큰 가격 하락에 비례해 감소하지는 않을 것이라고 경고한다. 에이전트가 더 많은 토큰을 소비하고 복잡한 모델을 사용하면서 2028년까지 워크플로당 추론 비용이 5배 이상 증가할 수 있다. 가트너는 토큰 가격 관리에서 결과당 비용 관리로 전환하고, 배포를 확대하기 전에 사용량 모니터링, 모델 라우팅, 경제성 평가를 함께 수행할 것을 권고한다.
