- Dell Technologies cho rằng chi phí AI doanh nghiệp vẫn tăng dù giá token giảm mạnh vì các hệ thống Agentic AI tiêu thụ lượng token và ngữ cảnh ngày càng lớn.
- Theo Goldman Sachs, chi phí tạo token đã giảm khoảng 60–70% mỗi năm nhờ mô hình hiệu quả hơn, phần cứng mạnh hơn và cạnh tranh trên thị trường.
- Tuy nhiên, FinOps Foundation cho biết gần ba phần tư doanh nghiệp đã vượt dự toán chi phí AI trong năm qua.
- Goldman Sachs dự báo lượng token AI toàn cầu sẽ tăng gấp 24 lần vào năm 2030.
- Dell nhận định nguyên nhân chính không còn nằm ở năng lực tính toán mà ở hạ tầng lưu trữ chưa được thiết kế cho AI Agent và các cửa sổ ngữ cảnh dài.
- Trong các mô hình ngôn ngữ lớn, bộ nhớ GPU hiện phải đồng thời thực hiện hai nhiệm vụ là tính toán và lưu trữ KV cache, làm giảm hiệu suất khi khối lượng công việc tăng.
- Dell đề xuất chuyển KV cache sang hệ thống lưu trữ chuyên dụng để giải phóng bộ nhớ GPU cho tính toán.
- Theo kết quả thử nghiệm của Dell trên 4 GPU NVIDIA H100, thời gian tạo token đầu tiên (Time to First Token) giảm từ 17 giây xuống còn khoảng 1 giây khi sử dụng cơ chế chuyển KV cache.
- Thông lượng xử lý các cuộc hội thoại nhiều lượt cũng tăng gần gấp ba lần sau khi tối ưu lưu trữ.
- Dell cho biết hệ thống lưu trữ của hãng đạt độ trễ gần bằng một nửa so với đối thủ gần nhất và nhanh hơn tới 14 lần so với cấu hình không chuyển KV cache.
- Bài viết nhấn mạnh doanh nghiệp nên triển khai đồng bộ máy chủ, lưu trữ và mạng từ một nhà cung cấp để giảm thời gian tích hợp và tăng tốc đưa AI vào vận hành.
- Dell kết luận rằng trong kỷ nguyên Agentic AI, lợi thế cạnh tranh sẽ phụ thuộc vào khả năng tối ưu toàn bộ hạ tầng, đặc biệt là lưu trữ, chứ không chỉ đầu tư thêm GPU.
📌 Nút thắt của AI doanh nghiệp đang dịch chuyển từ sức mạnh GPU sang khả năng quản lý ngữ cảnh và lưu trữ dữ liệu. Khi Agentic AI xử lý các phiên làm việc dài và nhiều Agent đồng thời, KV cache trở thành yếu tố quyết định hiệu năng và chi phí. Theo Dell, tối ưu kiến trúc lưu trữ có thể giúp giảm đáng kể độ trễ, tăng thông lượng và cải thiện hiệu quả đầu tư AI mà không cần chỉ tiếp tục bổ sung GPU.
Tổng hợp
