Produkte & Apps

inclusionAI veröffentlicht Humming, eine hochperformante GEMM-Kernelbibliothek für quantisierte Inferenz

Originaltitel:inclusionAI/humming

KI-Zusammenfassung

inclusionAI hat Humming als Open Source veröffentlicht, eine hochperformante, leichtgewichtige Just-in-Time-GEMM-Kernelbibliothek für quantisierte Inferenz. Sie unterstützt Inferenz mit beliebigen Gewichtstypen unter 8 Bit bei Aktivierungsdatentypen wie FP16, BF16 und FP8, ist mit verschiedenen Quantisierungsstrategien und Skalierungstypen kompatibel und unterstützt sowohl dichte GEMM- als auch Mixture-of-Experts-GEMM-Operationen. Die Bibliothek ist mit allen NVIDIA GPUs ab SM75 kompatibel und bietet in verschiedenen Rechenumgebungen branchenführenden Durchsatz und Effizienz. Die Abhängigkeiten sind minimal: nur PyTorch und NVCC werden benötigt, das Paket ist nur etwa 100 KB groß und eignet sich für ultra-leichtgewichtige Bereitstellung.

Kernpunkte

  • inclusionAI hat Humming als Open Source veröffentlicht,eine hochperformante,leichtgewichtige…
  • Sie unterstützt Inferenz mit beliebigen Gewichtstypen unter 8 Bit bei Aktivierungsdatentypen wie…
  • Die Bibliothek ist mit allen NVIDIA GPUs ab SM75 kompatibel und bietet in verschiedenen…
  • Die Abhängigkeiten sind minimal: nur PyTorch und NVCC werden benötigt,das Paket ist nur etwa 100…

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
蚂蚁 inclusionAI:GitHub 新仓库
Kategorie
Produkte & Apps
KI-Bewertung
61
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

蚂蚁 inclusionAI 开源了一个 100KB 级的量化 GEMM 库,支持从 INT1 到 FP8 全家桶,SM75+ 全覆盖,做推理部署的工程师值得花半小时跑一下 benchmark,看看能不能替换掉现有的 Marlin 方案。

Verwandte Entitäten

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: inclusionAI veröffentlicht Humming, eine hochperformante GEMM-Kernelbibliothek für quantisierte Inferenz. 11. Februar 2026. https://new.nat6.net/de/news/cmorb7ik3006oslhfmf6g1irj/

Alle ansehen →