Tencent Hunyuan lượng tử hóa mô hình chủ lực Hy3 xuống 1bit và 4bit, có thể triển khai trên một card
Tiêu đề gốc:极致量化,近三千亿参数 Hy3 单卡即可部署
Tóm tắt AI
Tencent Hunyuan lượng tử hóa trọng số mô hình chủ lực Hy3 295B tham số xuống 1bit và 4bit rồi đóng gói thành GGUF, kết hợp hệ sinh thái llama.cpp, giúp mô hình vốn cần cụm nhiều card triển khai có thể chạy trên tối thiểu một card suy luận 96GB. Bản 1bit nén trọng số từ 598GB xuống 85.5GiB, bản 4bit có dung lượng 169.9GiB, hai card có thể đảm nhận; bản lượng tử hóa gần đạt hiệu quả đầy đủ trên hiểu văn bản dài, Agent và nhiệm vụ mã, sau khi bật MTP tốc độ giải mã tăng khoảng 50%-60%.
Thông tin chính
- Tencent Hunyuan lượng tử hóa trọng số mô hình chủ lực Hy3 295B tham số xuống 1bit và 4bit rồi đóng…
- cpp,giúp mô hình vốn cần cụm nhiều card triển khai có thể chạy trên tối thiểu một card suy luận…
- Bản 1bit nén trọng số từ 598GB xuống 85.
- 5GiB,bản 4bit có dung lượng 169.
- 9GiB,hai card có thể đảm nhận
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Nguồn
- 公众号:腾讯混元
- Danh mục
- Sản phẩm & ứng dụng
- Điểm AI
- 78
将 295B 旗舰模型量化至单卡部署,1bit 版本在长文理解上仍接近满血,且提供 MTP 加速,改变了本地运行大模型的门槛与成本考量。
Thực thể liên quan
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: Tencent Hunyuan lượng tử hóa mô hình chủ lực Hy3 xuống 1bit và 4bit, có thể triển khai trên một card. 14 tháng 7 2026. https://new.nat6.net/vi/news/cmsdu2uhb013orofz5u7hfmv2/