Sản phẩm & ứng dụng

inclusionAI phát hành Humming, thư viện nhân GEMM suy luận lượng tử hóa hiệu năng cao

Tiêu đề gốc:inclusionAI/humming

Tóm tắt AI

inclusionAI đã mở mã nguồn Humming, thư viện nhân GEMM biên dịch tức thời nhẹ và hiệu năng cao dành riêng cho suy luận lượng tử hóa. Thư viện hỗ trợ suy luận với mọi loại trọng số dưới 8 bit trên nhiều kiểu dữ liệu kích hoạt như FP16, BF16, FP8, tương thích nhiều chiến lược lượng tử hóa và kiểu chia tỉ lệ, đồng thời hỗ trợ cả GEMM dày đặc và GEMM chuyên gia hỗn hợp. Thư viện tương thích mọi GPU NVIDIA từ SM75 trở lên, cung cấp thông lượng và hiệu suất hàng đầu ngành trong nhiều tình huống tính toán. Phụ thuộc tối giản, chỉ cần PyTorch và NVCC, gói phần mềm chỉ khoảng 100 KB, thuận tiện cho triển khai siêu nhẹ.

Thông tin chính

  • inclusionAI đã mở mã nguồn Humming,thư viện nhân GEMM biên dịch tức thời nhẹ và hiệu năng cao dành…
  • Thư viện hỗ trợ suy luận với mọi loại trọng số dưới 8 bit trên nhiều kiểu dữ liệu kích hoạt như…
  • Thư viện tương thích mọi GPU NVIDIA từ SM75 trở lên,cung cấp thông lượng và hiệu suất hàng đầu…
  • Phụ thuộc tối giản,chỉ cần PyTorch và NVCC,gói phần mềm chỉ khoảng 100 KB,thuận tiện cho triển…

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
蚂蚁 inclusionAI:GitHub 新仓库
Danh mục
Sản phẩm & ứng dụng
Điểm AI
61
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

蚂蚁 inclusionAI 开源了一个 100KB 级的量化 GEMM 库,支持从 INT1 到 FP8 全家桶,SM75+ 全覆盖,做推理部署的工程师值得花半小时跑一下 benchmark,看看能不能替换掉现有的 Marlin 方案。

Thực thể liên quan

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: inclusionAI phát hành Humming, thư viện nhân GEMM suy luận lượng tử hóa hiệu năng cao. 11 tháng 2 2026. https://new.nat6.net/vi/news/cmorb7ik3006oslhfmf6g1irj/

Xem tất cả →