inclusionAI merilis pustaka kernel GEMM penalaran kuantisasi berperforma tinggi Humming
Judul asli:inclusionAI/humming
Ringkasan AI
inclusionAI merilis Humming sebagai sumber terbuka, sebuah pustaka kernel GEMM kompilasi just-in-time yang ringan dan berperforma tinggi yang dirancang khusus untuk penalaran kuantisasi. Pustaka ini mendukung penalaran berbagai tipe bobot di bawah 8 bit pada berbagai tipe data aktivasi seperti FP16, BF16, dan FP8, kompatibel dengan berbagai strategi kuantisasi dan tipe penskalaan, serta mendukung operasi GEMM padat dan GEMM mixture-of-experts. Pustaka ini kompatibel dengan semua GPU NVIDIA SM75 ke atas dan mampu memberikan throughput serta efisiensi terdepan di industri pada berbagai skenario komputasi. Dependensinya sangat minimal, hanya memerlukan PyTorch dan NVCC, dengan ukuran paket perangkat lunak sekitar 100 KB sehingga memudahkan penerapan yang sangat ringan.
Poin utama
- inclusionAI merilis Humming sebagai sumber terbuka,sebuah pustaka kernel GEMM kompilasi…
- Pustaka ini mendukung penalaran berbagai tipe bobot di bawah 8 bit pada berbagai tipe data…
- Pustaka ini kompatibel dengan semua GPU NVIDIA SM75 ke atas dan mampu memberikan throughput serta…
- Dependensinya sangat minimal,hanya memerlukan PyTorch dan NVCC,dengan ukuran paket perangkat lunak…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- 蚂蚁 inclusionAI:GitHub 新仓库
- Kategori
- Produk & Aplikasi
- Skor AI
- 61
蚂蚁 inclusionAI 开源了一个 100KB 级的量化 GEMM 库,支持从 INT1 到 FP8 全家桶,SM75+ 全覆盖,做推理部署的工程师值得花半小时跑一下 benchmark,看看能不能替换掉现有的 Marlin 方案。
Entitas Terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: inclusionAI merilis pustaka kernel GEMM penalaran kuantisasi berperforma tinggi Humming. 11 Februari 2026. https://new.nat6.net/id/news/cmorb7ik3006oslhfmf6g1irj/