- NVIDIA와 AT&T, T-Mobile, Comcast와 같은 통신사들은 지연 시간과 비용을 줄이기 위해 사용자 근처에서 추론(Inference)을 실행하는 분산형 AI 인프라인 ‘AI grid’를 구축하고 있다.
- 이 시스템은 전 세계 약 10만 개의 네트워크 데이터 센터를 활용하며, 100기가와트 이상의 새로운 AI 능력을 제공할 잠재력을 지니고 있다.
- AI grid는 통신사의 역할을 단순 데이터 전송에서 AI 서비스의 직접 운영 및 수익 창출로 전환시킨다.
- AT&T는 1억 개 이상의 연결을 가진 IoT에 AI grid를 도입하여 Linker Vision을 통한 공공 안전과 같은 실시간 애플리케이션을 지원한다.
- Comcast와 Akamai는 대화형 에이전트, 클라우드 게이밍 등의 AI 경험을 최적화하여 지연 시간을 낮추고 토큰 비용을 크게 절감했다.
- Spectrum은 1,000개 이상의 엣지 데이터 센터 네트워크를 구축하여 10밀리초 미만의 지연 시간으로 5억 개의 장치에 서비스를 제공한다.
- 실제 응용 사례: 대화형 AI(Personal AI), 도시 감시(Linker Vision), 개인화된 실시간 비디오(Decart).
- 주요 성능: 지연 시간 500ms 미만, 토큰당 비용 50% 이상 절감, 사고 감지 속도 10배 향상, 재난 대응 속도 15배 향상.
- 결론: NVIDIA와 AT&T, T-Mobile, Comcast 등의 통신사들은 지연 시간과 비용을 낮추기 위해 사용자 가까이에서 추론을 수행하는 분산형 AI 인프라인 ‘AI grid’를 구축하고 있다. AI grid는 네트워크를 분산형 AI 컴퓨팅 플랫폼으로 변화시킴으로써 통신 산업 전체를 재편하고 있다. 10만 개의 데이터 센터와 수백 기가와트의 잠재력을 바탕으로 통신사는 더 이상 데이터 전송에 머물지 않고 직접 AI 서비스를 제공하게 된다. 10ms 미만의 초저지연과 50% 이상의 비용 절감 덕분에 스마트 시티, 실시간 비디오, 대화형 에이전트와 같은 AI 네이티브 앱이 폭발적으로 증가하며 통신사가 AI 경제의 새로운 중심이 될 것이다.
