- Phòng thí nghiệm Huawei Computing Systems Lab tại Zurich vừa công bố phương pháp quantization mới có tên SINQ (Sinkhorn-Normalized Quantization) dành cho LLM (Large Language Models), giúp giảm 60–70% dung lượng bộ nhớ mà không làm giảm chất lượng đầu ra.
- SINQ được thiết kế không cần hiệu chỉnh (calibration-free), dễ tích hợp và có tốc độ xử lý nhanh hơn nhiều phương pháp trước đây. Huawei phát hành mã nguồn mở trên GitHub và Hugging Face, theo giấy phép Apache 2.0 – cho phép doanh nghiệp tự do sử dụng, sửa đổi và triển khai thương mại hoàn toàn miễn phí.
- Kỹ thuật này cho phép mô hình cần hơn 60 GB RAM trước đây chạy được chỉ với khoảng 20 GB, mở ra khả năng vận hành LLM trên GPU tiêu dùng như RTX 4090 (1.600 USD) thay vì A100 80GB (19.000 USD) hoặc H100 (>30.000 USD).
- Đối với dịch vụ đám mây, chi phí tiết kiệm rõ rệt: A100 tốn 3–4,50 USD/giờ, trong khi GPU 24 GB như RTX 4090 chỉ khoảng 1–1,50 USD/giờ, giúp tiết kiệm hàng nghìn USD cho các tác vụ inference dài hạn.
- SINQ hoạt động dựa trên hai cải tiến chính:
o Dual-Axis Scaling: dùng hai vector tỷ lệ riêng biệt cho hàng và cột, giúp giảm lỗi lượng tử hóa do giá trị ngoại lai.
o Sinkhorn-Knopp Normalization: thuật toán chuẩn hóa nhanh giúp giảm “matrix imbalance” – chỉ số mới hiệu quả hơn kurtosis trong tối ưu hóa chất lượng lượng tử hóa.
- Kết quả thử nghiệm trên Qwen3, LLaMA, DeepSeek cho thấy SINQ giảm perplexity và flip rate, gần đạt hiệu năng mô hình full-precision, và nhanh gấp 30 lần so với AWQ.
- SINQ còn hỗ trợ non-uniform quantization (NF4), tương thích với AWQ để tạo biến thể A-SINQ, cho độ chính xác cao hơn.
- Huawei cung cấp mã minh họa, công cụ lưu/trích xuất trọng số, tích hợp lm-eval và dự kiến sắp phát hành mô hình đã lượng tử hóa sẵn trên Hugging Face Hub.
📌 Với phương pháp lượng tử hóa mới SINQ, Huawei đang dân chủ hóa khả năng chạy LLM trên phần cứng phổ thông, giúp tiết kiệm 60–70% bộ nhớ và chi phí GPU giảm tới 3 lần. Giải pháp nguồn mở, nhanh, dễ dùng và không cần hiệu chỉnh này có thể trở thành chuẩn mới trong lượng tử hóa AI, mở rộng cơ hội triển khai LLM cho cả cá nhân và doanh nghiệp nhỏ.
Tổng hợp
