- 한 분석에 따르면 엔비디아(NVIDIA)의 가장 큰 경쟁 우위는 GPU 하드웨어가 아니라 AI 병렬 처리를 최적화하는 소프트웨어 플랫폼인 CUDA에 있다.
- CUDA(Compute Unified Device Architecture)는 GPU가 수만 개의 계산을 동시에 처리할 수 있게 해주며, 이는 대규모 AI 모델 학습의 핵심 요소다.
- 기사는 GPU가 9×9 구구단을 순차적으로 계산하는 대신 여러 처리 코어에 나누어 동시에 계산함으로써 속도를 수배 높이고 AI 학습 비용을 대폭 절감할 수 있다고 설명한다.
- CUDA는 원래 게임용 GPU가 그래픽 외에 고성능 컴퓨팅에도 사용될 수 있음을 깨달은 이안 벅(Ian Buck)의 아이디어에서 시작되었다.
- 기사에 따르면 현대의 GPU는 수십 개의 요리 구역이 있는 ‘산업용 주방’과 같으며, CUDA는 처리 코어 사이의 모든 작업을 조율하는 ‘총주방장’ 역할을 한다.
- CUDA는 단순한 프레임워크가 아니라 행렬 연산에서 단 1나노초를 아끼기 위해 깊게 최적화된 AI 라이브러리 생태계다. 한 번의 AI 학습에 1억 달러가 들 수 있는 상황에서 이는 매우 중요하다.
- 스타트업 딥시크(DeepSeek)는 엔비디아 GPU의 어셈블리 수준인 PTX 계층에서 직접 최적화하여 일반 CUDA보다 더 깊은 성능을 끌어내는 드문 사례로 언급된다.
- 파이토치(PyTorch)에서 단 3줄이면 되는 행렬 곱셈도 CUDA로 작성하면 50줄 이상의 코드가 필요하며, 이는 GPU 최적화의 극심한 복잡성을 보여준다.
- 대부분의 현대 머신러닝 프레임워크가 CUDA 기반으로 구축되어 엔비디아 GPU에서만 최적으로 작동하기 때문에 CUDA는 ‘락인(Lock-in)’ 효과를 만든다.
- 이 때문에 AMD의 GPU가 코어나 메모리가 더 많더라도 실제 AI 성능에서는 엔비디아에 뒤처지는 경우가 많다.
- OpenCL, ROCm, 인텔의 oneAPI 같은 경쟁자들은 CUDA 생태계와 경쟁하는 데 어려움을 겪고 있다.
- 엔비디아는 인텔이나 AMD보다 애플(Apple)에 더 가깝다. 우위가 하드웨어뿐만 아니라 소프트웨어 생태계 전체와 개발자 커뮤니티에 있기 때문이다.
- 또 다른 중요한 요소는 엔비디아가 전통적인 칩 기업답지 않게 하드웨어 엔지니어보다 소프트웨어 엔지니어를 더 많이 채용한다는 점이다.
- 기사에 따르면 GPU 커널 최적화에 능숙한 엔지니어는 매우 드물며, 그들 중 상당수가 엔비디아에서 근무하고 있어 넘기 힘든 ‘방어용 해자’를 형성하고 있다.
📌 엔비디아의 진정한 힘은 H100 GPU나 값비싼 AI 하드웨어가 아니라 수년간 구축해 온 병렬 처리 최적화 소프트웨어 생태계인 CUDA에 있다. CUDA는 거의 모든 머신러닝 프레임워크가 의존하고 있어 AI 산업 전체에 강력한 결속 효과를 만든다. AMD, 인텔, OpenCL 등 많은 경쟁자가 도전하고 있지만 생태계, 커널 엔지니어, 소프트웨어 최적화의 격차로 인해 엔비디아는 현재 평범한 칩 판매업체라기보다 ‘AI 시대의 애플’에 가깝다.
