Inilabas ng inclusionAI ang Humming, ang high-performance quantized inference GEMM kernel library
Orihinal na pamagat:inclusionAI/humming
AI summary
Open source na inilabas ng inclusionAI ang Humming, isang high-performance at magaan na just-in-time compilation GEMM kernel library na espesyal na dinisenyo para sa quantized inference. Sinusuportahan nito ang inference ng anumang uri ng timbang na mas mababa sa 8 bits sa ilalim ng iba't ibang activation data type tulad ng FP16, BF16, at FP8, compatible sa iba't ibang quantization strategy at scaling type, at sabay na sumusuporta sa dense GEMM at mixture-of-experts GEMM operations. Compatible ang library na ito sa lahat ng NVIDIA GPU na SM75 pataas, at nagbibigay ng industry-leading throughput at efficiency sa iba't ibang computing scenario. Minimal ang dependencies nito, kailangan lamang ng PyTorch at NVCC, at humigit-kumulang 100 KB lamang ang laki ng software package, kaya madali para sa ultra-lightweight deployment.
Mahahalagang impormasyon
- Open source na inilabas ng inclusionAI ang Humming,isang high-performance at magaan na…
- Sinusuportahan nito ang inference ng anumang uri ng timbang na mas mababa sa 8 bits sa ilalim ng…
- Compatible ang library na ito sa lahat ng NVIDIA GPU na SM75 pataas,at nagbibigay ng…
- Minimal ang dependencies nito,kailangan lamang ng PyTorch at NVCC,at humigit-kumulang 100 KB…
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- 蚂蚁 inclusionAI:GitHub 新仓库
- Kategorya
- Mga produkto at aplikasyon
- AI na marka
- 61
蚂蚁 inclusionAI 开源了一个 100KB 级的量化 GEMM 库,支持从 INT1 到 FP8 全家桶,SM75+ 全覆盖,做推理部署的工程师值得花半小时跑一下 benchmark,看看能不能替换掉现有的 Marlin 方案。
Kaugnay na Entity
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Inilabas ng inclusionAI ang Humming, ang high-performance quantized inference GEMM kernel library. 11 Pebrero 2026. https://new.nat6.net/fil/news/cmorb7ik3006oslhfmf6g1irj/