- Nvidia lần đầu thừa nhận mô hình GPU một-kích-thước-cho-tất-cả đang đi đến hồi kết, thể hiện rõ qua thương vụ cấp phép chiến lược trị giá 20 tỉ USD với Groq, mở màn cho cuộc tái cấu trúc toàn bộ AI stack từ năm 2026 .
- Ngành đã bước vào “Inference Flip” cuối 2025, khi doanh thu từ suy luận (inference) vượt huấn luyện (training). Cuộc cạnh tranh không còn xoay quanh độ chính xác, mà là độ trễ và khả năng duy trì trạng thái của AI agent.
- Inference đang bị chia thành hai pha: prefill (nạp ngữ cảnh, thiên về tính toán) và decode (sinh token, thiên về băng thông bộ nhớ). GPU truyền thống mạnh ở prefill nhưng yếu ở decode.
- Nvidia phản ứng bằng kiến trúc Vera Rubin, tách CPX cho prefill với ngữ cảnh tới 1 triệu token, dùng GDDR7 rẻ hơn HBM, trong khi tích hợp silicon “phong cách Groq” cho decode tốc độ cao.
- Điểm khác biệt của Groq nằm ở SRAM, cho phép di chuyển dữ liệu cực nhanh với năng lượng thấp, phù hợp cho suy luận thời gian thực, robot, edge AI và các mô hình nhỏ dưới 8 tỉ tham số.
- Sự trỗi dậy của mô hình distilled và edge inference tạo “điểm ngọt” mới mà GPU Nvidia trước đây chưa phục vụ hiệu quả.
- Mối đe dọa lớn khác đến từ Anthropic với stack AI “portable”, chạy được trên cả GPU Nvidia lẫn TPU Google, làm suy yếu lợi thế độc quyền CUDA.
- Cuộc chiến “statehood” của agent nhấn mạnh vai trò KV Cache: tỷ lệ token vào/ra có thể 100:1, khiến bộ nhớ trở thành nút thắt lớn hơn cả compute.
- Nvidia đang xây dựng “inference OS”, phân tầng trạng thái qua SRAM, DRAM, HBM và flash, biến chiến lược GPU thành bài toán định tuyến workload.
- 📌 Nvidia lần đầu thừa nhận mô hình GPU một-kích-thước-cho-tất-cả đang đi đến hồi kết, thể hiện rõ qua thương vụ cấp phép chiến lược trị giá 20 tỉ USD với Groq, mở màn cho cuộc tái cấu trúc toàn bộ AI stack Ngành đã bước vào “Inference Flip” cuối 2025, khi doanh thu từ suy luận (inference) vượt huấn luyện (training). Inference đang bị chia thành hai pha: prefill (nạp ngữ cảnh, thiên về tính toán) và decode (sinh token, thiên về băng thông bộ nhớ). GPU truyền thống mạnh ở prefill nhưng yếu ở decode.
© 2026 Vietmetric