inclusionAI phát hành Humming, thư viện nhân GEMM suy luận lượng tử hóa hiệu năng cao
Tiêu đề gốc:inclusionAI/humming
Tóm tắt AI
inclusionAI đã mở mã nguồn Humming, thư viện nhân GEMM biên dịch tức thời nhẹ và hiệu năng cao dành riêng cho suy luận lượng tử hóa. Thư viện hỗ trợ suy luận với mọi loại trọng số dưới 8 bit trên nhiều kiểu dữ liệu kích hoạt như FP16, BF16, FP8, tương thích nhiều chiến lược lượng tử hóa và kiểu chia tỉ lệ, đồng thời hỗ trợ cả GEMM dày đặc và GEMM chuyên gia hỗn hợp. Thư viện tương thích mọi GPU NVIDIA từ SM75 trở lên, cung cấp thông lượng và hiệu suất hàng đầu ngành trong nhiều tình huống tính toán. Phụ thuộc tối giản, chỉ cần PyTorch và NVCC, gói phần mềm chỉ khoảng 100 KB, thuận tiện cho triển khai siêu nhẹ.
Thông tin chính
- inclusionAI đã mở mã nguồn Humming,thư viện nhân GEMM biên dịch tức thời nhẹ và hiệu năng cao dành…
- Thư viện hỗ trợ suy luận với mọi loại trọng số dưới 8 bit trên nhiều kiểu dữ liệu kích hoạt như…
- Thư viện tương thích mọi GPU NVIDIA từ SM75 trở lên,cung cấp thông lượng và hiệu suất hàng đầu…
- Phụ thuộc tối giản,chỉ cần PyTorch và NVCC,gói phần mềm chỉ khoảng 100 KB,thuận tiện cho triển…
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Danh mục
- Sản phẩm & ứng dụng
- Điểm AI
- 61
蚂蚁 inclusionAI 开源了一个 100KB 级的量化 GEMM 库,支持从 INT1 到 FP8 全家桶,SM75+ 全覆盖,做推理部署的工程师值得花半小时跑一下 benchmark,看看能不能替换掉现有的 Marlin 方案。
Thực thể liên quan
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: inclusionAI phát hành Humming, thư viện nhân GEMM suy luận lượng tử hóa hiệu năng cao. 11 tháng 2 2026. https://new.nat6.net/vi/news/cmorb7ik3006oslhfmf6g1irj/