Mga produkto at aplikasyon

Inilabas ng inclusionAI ang Humming, ang high-performance quantized inference GEMM kernel library

Orihinal na pamagat:inclusionAI/humming

AI summary

Open source na inilabas ng inclusionAI ang Humming, isang high-performance at magaan na just-in-time compilation GEMM kernel library na espesyal na dinisenyo para sa quantized inference. Sinusuportahan nito ang inference ng anumang uri ng timbang na mas mababa sa 8 bits sa ilalim ng iba't ibang activation data type tulad ng FP16, BF16, at FP8, compatible sa iba't ibang quantization strategy at scaling type, at sabay na sumusuporta sa dense GEMM at mixture-of-experts GEMM operations. Compatible ang library na ito sa lahat ng NVIDIA GPU na SM75 pataas, at nagbibigay ng industry-leading throughput at efficiency sa iba't ibang computing scenario. Minimal ang dependencies nito, kailangan lamang ng PyTorch at NVCC, at humigit-kumulang 100 KB lamang ang laki ng software package, kaya madali para sa ultra-lightweight deployment.

Mahahalagang impormasyon

  • Open source na inilabas ng inclusionAI ang Humming,isang high-performance at magaan na…
  • Sinusuportahan nito ang inference ng anumang uri ng timbang na mas mababa sa 8 bits sa ilalim ng…
  • Compatible ang library na ito sa lahat ng NVIDIA GPU na SM75 pataas,at nagbibigay ng…
  • Minimal ang dependencies nito,kailangan lamang ng PyTorch at NVCC,at humigit-kumulang 100 KB…

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
蚂蚁 inclusionAI:GitHub 新仓库
Kategorya
Mga produkto at aplikasyon
AI na marka
61
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

蚂蚁 inclusionAI 开源了一个 100KB 级的量化 GEMM 库,支持从 INT1 到 FP8 全家桶,SM75+ 全覆盖,做推理部署的工程师值得花半小时跑一下 benchmark,看看能不能替换掉现有的 Marlin 方案。

Kaugnay na Entity

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Inilabas ng inclusionAI ang Humming, ang high-performance quantized inference GEMM kernel library. 11 Pebrero 2026. https://new.nat6.net/fil/news/cmorb7ik3006oslhfmf6g1irj/

Tingnan lahat →