- 클라우드 퍼스트 전략이 10년 넘게 지배적이었지만, AI의 폭발적인 성장은 기업들이 클라우드와 온프레미스(on-premises)의 역할을 재평가하도록 강요하고 있습니다.
- 딜로이트(Deloitte)의 분석에 따르면, 클라우드 퍼스트를 위해 구축된 인프라는 모델, 에이전트 및 추론량이 급증하는 “AI 경제”에 더 이상 적합하지 않습니다.
- 치솟는 클라우드 비용이 가장 큰 문제입니다. AI 토큰 비용은 2년 동안 280배나 감소했지만, 많은 기업은 여전히 매달 수천만 달러에 달하는 클라우드 비용을 지불하고 있습니다.
- 딜로이트는 클라우드 비용이 동등한 온프레미스 시스템 총비용의 60~70%를 초과할 때 자본 투자(CAPEX)가 운영 비용(OPEX)보다 매력적이 되는 “티핑 포인트”를 지적합니다.
- 지연 시간(Latency)은 심각한 장벽입니다. 10밀리초 미만의 응답이 필요한 AI 애플리케이션은 클라우드에서 완전히 처리되는 것을 수용하기 어렵습니다.
- 내구성과 중단 저항성 덕분에 클라우드 연결이 끊겨도 작동을 멈출 수 없는 중요한 AI 작업에는 온프레미스가 높게 평가됩니다.
- 데이터 주권 문제로 인해 많은 기업이 인프라를 “본국으로 송환(repatriation)”하여 법적 관할권 외부의 공급업체에 완전히 의존하는 것을 피하고 있습니다.
- 딜로이트는 유연성을 위한 클라우드, 비용과 안정적인 성능을 위한 온프레미스, 실시간 의사 결정을 위한 엣지(edge)의 3계층 모델을 제안합니다.
- 시스템 아키텍트들은 하이브리드 방식을 통해 테스트에는 클라우드를 활용하면서 민감한 데이터와 지연 시간이 짧아야 하는 워크로드는 현장에 유지할 수 있다고 봅니다.
📌 AI는 한때 기본값으로 여겨졌던 클라우드 퍼스트 사고방식을 뒤집고 있습니다. 비용 상승, 낮은 지연 시간 요구, 데이터 주권 및 시스템 내구성이 부각되면서 하이브리드 모델이 균형 잡힌 솔루션으로 떠오르고 있습니다. 클라우드는 여전히 테스트 및 확장에 중요하지만, 대규모 생산 AI를 위해서는 온프레미스와 엣지가 다시 중심 무대로 돌아오고 있습니다. 기업이 투자 수익을 최적화하려면 AI는 단일 옵션에 의존하는 대신 유연한 인프라를 설계하도록 강요하고 있습니다.
