Produk & Aplikasi

inclusionAI melancarkan Humming, pustaka kernel GEMM penaakulan kuantisasi berprestasi tinggi

Tajuk asal:inclusionAI/humming

Ringkasan AI

inclusionAI telah mengeluarkan Humming sebagai sumber terbuka, iaitu pustaka kernel GEMM penyusunan just-in-time ringan berprestasi tinggi yang direka khusus untuk penaakulan kuantisasi. Ia menyokong penaakulan jenis berat di bawah 8 bit merentas pelbagai jenis data pengaktifan seperti FP16, BF16 dan FP8, serasi dengan pelbagai strategi kuantisasi dan jenis penskalaan, serta menyokong operasi GEMM padat dan GEMM pakar campuran. Pustaka ini serasi dengan semua GPU NVIDIA SM75 ke atas dan menawarkan daya pemprosesan serta kecekapan terkemuka industri dalam pelbagai senario pengiraan. Kebergantungannya sangat minimum, hanya memerlukan PyTorch dan NVCC, dengan saiz pakej perisian kira-kira 100 KB sahaja, memudahkan penggunaan ultra-ringan.

Maklumat penting

  • inclusionAI telah mengeluarkan Humming sebagai sumber terbuka,iaitu pustaka kernel GEMM penyusunan…
  • Ia menyokong penaakulan jenis berat di bawah 8 bit merentas pelbagai jenis data pengaktifan…
  • Pustaka ini serasi dengan semua GPU NVIDIA SM75 ke atas dan menawarkan daya pemprosesan serta…
  • Kebergantungannya sangat minimum,hanya memerlukan PyTorch dan NVCC,dengan saiz pakej perisian…

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
蚂蚁 inclusionAI:GitHub 新仓库
Kategori
Produk & Aplikasi
Skor AI
61
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

蚂蚁 inclusionAI 开源了一个 100KB 级的量化 GEMM 库,支持从 INT1 到 FP8 全家桶,SM75+ 全覆盖,做推理部署的工程师值得花半小时跑一下 benchmark,看看能不能替换掉现有的 Marlin 方案。

Entiti Berkaitan

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: inclusionAI melancarkan Humming, pustaka kernel GEMM penaakulan kuantisasi berprestasi tinggi. 11 Februari 2026. https://new.nat6.net/ms/news/cmorb7ik3006oslhfmf6g1irj/

Lihat Semua →