Sản phẩm & ứng dụng

Tencent Hunyuan lượng tử hóa mô hình chủ lực Hy3 xuống 1bit và 4bit, có thể triển khai trên một card

Tiêu đề gốc:极致量化,近三千亿参数 Hy3 单卡即可部署

Tóm tắt AI

Tencent Hunyuan lượng tử hóa trọng số mô hình chủ lực Hy3 295B tham số xuống 1bit và 4bit rồi đóng gói thành GGUF, kết hợp hệ sinh thái llama.cpp, giúp mô hình vốn cần cụm nhiều card triển khai có thể chạy trên tối thiểu một card suy luận 96GB. Bản 1bit nén trọng số từ 598GB xuống 85.5GiB, bản 4bit có dung lượng 169.9GiB, hai card có thể đảm nhận; bản lượng tử hóa gần đạt hiệu quả đầy đủ trên hiểu văn bản dài, Agent và nhiệm vụ mã, sau khi bật MTP tốc độ giải mã tăng khoảng 50%-60%.

Thông tin chính

  • Tencent Hunyuan lượng tử hóa trọng số mô hình chủ lực Hy3 295B tham số xuống 1bit và 4bit rồi đóng…
  • cpp,giúp mô hình vốn cần cụm nhiều card triển khai có thể chạy trên tối thiểu một card suy luận…
  • Bản 1bit nén trọng số từ 598GB xuống 85.
  • 5GiB,bản 4bit có dung lượng 169.
  • 9GiB,hai card có thể đảm nhận

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
公众号:腾讯混元
Danh mục
Sản phẩm & ứng dụng
Điểm AI
78
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

将 295B 旗舰模型量化至单卡部署,1bit 版本在长文理解上仍接近满血,且提供 MTP 加速,改变了本地运行大模型的门槛与成本考量。

Thực thể liên quan

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: Tencent Hunyuan lượng tử hóa mô hình chủ lực Hy3 xuống 1bit và 4bit, có thể triển khai trên một card. 14 tháng 7 2026. https://new.nat6.net/vi/news/cmsdu2uhb013orofz5u7hfmv2/

Xem tất cả →