inclusionAI veröffentlicht Humming, eine hochperformante GEMM-Kernelbibliothek für quantisierte Inferenz
Originaltitel:inclusionAI/humming
KI-Zusammenfassung
inclusionAI hat Humming als Open Source veröffentlicht, eine hochperformante, leichtgewichtige Just-in-Time-GEMM-Kernelbibliothek für quantisierte Inferenz. Sie unterstützt Inferenz mit beliebigen Gewichtstypen unter 8 Bit bei Aktivierungsdatentypen wie FP16, BF16 und FP8, ist mit verschiedenen Quantisierungsstrategien und Skalierungstypen kompatibel und unterstützt sowohl dichte GEMM- als auch Mixture-of-Experts-GEMM-Operationen. Die Bibliothek ist mit allen NVIDIA GPUs ab SM75 kompatibel und bietet in verschiedenen Rechenumgebungen branchenführenden Durchsatz und Effizienz. Die Abhängigkeiten sind minimal: nur PyTorch und NVCC werden benötigt, das Paket ist nur etwa 100 KB groß und eignet sich für ultra-leichtgewichtige Bereitstellung.
Kernpunkte
- inclusionAI hat Humming als Open Source veröffentlicht,eine hochperformante,leichtgewichtige…
- Sie unterstützt Inferenz mit beliebigen Gewichtstypen unter 8 Bit bei Aktivierungsdatentypen wie…
- Die Bibliothek ist mit allen NVIDIA GPUs ab SM75 kompatibel und bietet in verschiedenen…
- Die Abhängigkeiten sind minimal: nur PyTorch und NVCC werden benötigt,das Paket ist nur etwa 100…
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- 蚂蚁 inclusionAI:GitHub 新仓库
- Kategorie
- Produkte & Apps
- KI-Bewertung
- 61
蚂蚁 inclusionAI 开源了一个 100KB 级的量化 GEMM 库,支持从 INT1 到 FP8 全家桶,SM75+ 全覆盖,做推理部署的工程师值得花半小时跑一下 benchmark,看看能不能替换掉现有的 Marlin 方案。
Verwandte Entitäten
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: inclusionAI veröffentlicht Humming, eine hochperformante GEMM-Kernelbibliothek für quantisierte Inferenz. 11. Februar 2026. https://new.nat6.net/de/news/cmorb7ik3006oslhfmf6g1irj/