Produk & Aplikasi

inclusionAI merilis pustaka kernel GEMM penalaran kuantisasi berperforma tinggi Humming

Judul asli:inclusionAI/humming

Ringkasan AI

inclusionAI merilis Humming sebagai sumber terbuka, sebuah pustaka kernel GEMM kompilasi just-in-time yang ringan dan berperforma tinggi yang dirancang khusus untuk penalaran kuantisasi. Pustaka ini mendukung penalaran berbagai tipe bobot di bawah 8 bit pada berbagai tipe data aktivasi seperti FP16, BF16, dan FP8, kompatibel dengan berbagai strategi kuantisasi dan tipe penskalaan, serta mendukung operasi GEMM padat dan GEMM mixture-of-experts. Pustaka ini kompatibel dengan semua GPU NVIDIA SM75 ke atas dan mampu memberikan throughput serta efisiensi terdepan di industri pada berbagai skenario komputasi. Dependensinya sangat minimal, hanya memerlukan PyTorch dan NVCC, dengan ukuran paket perangkat lunak sekitar 100 KB sehingga memudahkan penerapan yang sangat ringan.

Poin utama

  • inclusionAI merilis Humming sebagai sumber terbuka,sebuah pustaka kernel GEMM kompilasi…
  • Pustaka ini mendukung penalaran berbagai tipe bobot di bawah 8 bit pada berbagai tipe data…
  • Pustaka ini kompatibel dengan semua GPU NVIDIA SM75 ke atas dan mampu memberikan throughput serta…
  • Dependensinya sangat minimal,hanya memerlukan PyTorch dan NVCC,dengan ukuran paket perangkat lunak…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
蚂蚁 inclusionAI:GitHub 新仓库
Kategori
Produk & Aplikasi
Skor AI
61
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

蚂蚁 inclusionAI 开源了一个 100KB 级的量化 GEMM 库,支持从 INT1 到 FP8 全家桶,SM75+ 全覆盖,做推理部署的工程师值得花半小时跑一下 benchmark,看看能不能替换掉现有的 Marlin 方案。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: inclusionAI merilis pustaka kernel GEMM penalaran kuantisasi berperforma tinggi Humming. 11 Februari 2026. https://new.nat6.net/id/news/cmorb7ik3006oslhfmf6g1irj/

Lihat semua →