- 델 테크놀로지스(Dell Technologies)는 토큰 가격이 급락했음에도 불구하고 기업용 AI 비용이 계속 상승하는 이유는 어젠틱 AI(Agentic AI) 시스템이 소비하는 토큰과 컨텍스트(맥락)의 양이 갈수록 커지기 때문이라고 진단했다.
- 골드만삭스(Goldman Sachs)에 따르면, 더 효율적인 모델, 강력해진 하드웨어 및 시장 경쟁 덕분에 토큰 생성 비용은 매년 약 60~70%씩 감소했다.
- 하지만 핀옵스 재단(FinOps Foundation)은 거의 4분의 3에 달하는 기업들이 지난 한 해 동안 AI 비용 예산을 초과했다고 밝혔다.
- 골드만삭스는 전 세계 AI 토큰 사용량이 2030년까지 24배 폭증할 것으로 전망했다.
- 델(Dell)은 핵심 원인이 더 이상 컴퓨팅 성능이 아니라, AI 에이전트와 긴 컨텍스트 창(Context Window)에 맞게 설계되지 않은 스토리지 인프라에 있다고 분석했다.
- 거대언어모델(LLM)에서 현재 GPU 메모리는 연산과 KV 캐시(KV cache) 저장이라는 두 가지 작업을 동시에 수행해야 하므로 워크로드가 증가할 때 성능이 저하된다.
- 델은 연산을 위한 GPU 메모리를 확보하기 위해 KV 캐시를 전용 스토리지 시스템으로 이전할 것을 제안했다.
- 4대의 NVIDIA H100 GPU를 대상으로 한 델의 테스트 결과에 따르면, KV 캐시 이전 메커니즘을 사용할 경우 첫 토큰 생성 시간(Time to First Token)이 17초에서 약 1초로 단축되었다.
- 스토리지 최적화 이후 멀티턴(다중 전환) 대화를 처리하는 처리량(Throughput) 역시 거의 3배로 증가했다.
- 델은 자사의 스토리지 시스템이 가장 가까운 경쟁사 대비 거의 절반 수준의 지연 시간(Latency)을 달성했으며, KV 캐시를 이전하지 않은 구성보다 최대 14배 더 빠르다고 밝혔다.
- 기사는 통합 시간을 줄이고 AI 가동을 가속화하기 위해 기업들이 단일 공급업체로부터 서버, 스토리지, 네트워크를 동기화하여 도입해야 한다고 강조했다.
- 델은 어젠틱 AI 시대의 경쟁 우위가 단순히 GPU를 추가로 구매하는 것이 아니라, 전체 인프라, 특히 스토리지를 최적화하는 역량에 좌우될 것이라고 결론지었다.
- 📌 결론: 기업용 AI의 병목 구간이 GPU 성능에서 컨텍스트 관리 및 데이터 스토리지 역량으로 이동하고 있다. 어젠틱 AI가 장기 세션과 다중 에이전트를 동시에 처리함에 따라, KV 캐시는 성능과 비용을 결정하는 핵심 요소가 된다. 델에 따르면 스토리지 아키텍치를 최적화하면 단순히 GPU를 계속 추가하지 않고도 지연 시간을 크게 줄이고, 처리량을 높이며, AI 투자 효율성을 개선할 수 있다.
