- Ngày 16/10/2026, Gartner dự báo chi phí suy luận trên mỗi quy trình AI Agent sẽ tăng hơn 5 lần đến năm 2028, dù chi phí tạo token tiếp tục giảm.
- Gartner gọi hiện tượng này là “nghịch lý suy luận” (Inference Paradox), khi hiệu quả tính toán tăng nhưng doanh nghiệp sử dụng các mô hình mạnh hơn và tiêu thụ nhiều token hơn.
- Theo Gartner, AI Agent tiêu thụ lượng token gấp 5-30 lần chatbot cơ bản khi thực hiện cùng nhiệm vụ. Chi phí suy luận của nhà cung cấp cũng tăng ít nhất 5 lần khi chuyển sang mô hình Agent có khả năng suy luận.
- Nguyên nhân chính là các hãng AI tiếp tục đầu tư vào mô hình tiên tiến, đòi hỏi năng lực tính toán lớn hơn, trong khi doanh nghiệp mở rộng sang những quy trình phức tạp.
- Gartner dự báo chi phí sẽ biến động theo từng đợt ra mắt công nghệ mới thay vì tăng đều.
- Khảo sát 109 người tham gia của VentureBeat cho thấy 21% doanh nghiệp sử dụng nền tảng điều phối Agent chưa có cơ chế tự động giới hạn chi phí token.
- Trong khi đó, 31% chuyển các tác vụ thường xuyên, khối lượng lớn sang mô hình rẻ hơn để kiểm soát ngân sách.
- Gartner đề xuất tăng cường giám sát chi phí bằng AI FinOps và đo lường chi phí theo từng kết quả công việc.
- Doanh nghiệp cần tự động phân tuyến nhiệm vụ đến mô hình phù hợp, tránh sử dụng mô hình đắt tiền cho tác vụ đơn giản.
- Các biện pháp khác gồm thiết lập ngưỡng hiệu quả, kiểm thử rủi ro chi phí và tận dụng dữ liệu riêng để phát triển mô hình chuyên biệt.
📌 Gartner cảnh báo chi phí AI Agent không giảm tương ứng với giá token. Đến năm 2028, chi phí suy luận trên mỗi quy trình có thể tăng hơn 5 lần do Agent tiêu thụ nhiều token và sử dụng mô hình phức tạp hơn. Gartner khuyến nghị doanh nghiệp chuyển từ quản lý giá token sang quản trị chi phí trên mỗi kết quả, kết hợp giám sát tiêu thụ, phân tuyến mô hình và đánh giá hiệu quả kinh tế trước khi mở rộng triển khai.
Tổng hợp.
