inclusionAIが高性能量子化推論GEMMカーネルライブラリHummingを発表
原題:inclusionAI/humming
AI 要約
inclusionAIは量子化推論向けに設計された高性能・軽量なジャストインタイムコンパイルGEMMカーネルライブラリHummingをオープンソース化した。FP16、BF16、FP8などの活性化データ型で8ビット未満の任意の重み型推論をサポートし、多様な量子化戦略とスケーリング型に対応、密GEMMと混合エキスパートGEMMの両演算をサポートする。SM75以上のすべてのNVIDIA GPUに対応し、多様な計算シーンで業界最先端のスループットと効率を提供する。依存関係は極めて簡素でPyTorchとNVCCのみ、パッケージサイズは約100KBで超軽量デプロイが可能である。
要点
- inclusionAIは量子化推論向けに設計された高性能・軽量なジャストインタイムコンパイルGEMMカーネルライブラリHummingをオープンソース化した。
- FP16、BF16、FP8などの活性化データ型で8ビット未満の任意の重み型推論をサポートし、多様な量子化戦略とスケーリング型に対応、密GEMMと混合エキスパートGEMMの両演算をサポートする。
- SM75以上のすべてのNVIDIA GPUに対応し、多様な計算シーンで業界最先端のスループットと効率を提供する。
- 依存関係は極めて簡素でPyTorchとNVCCのみ、パッケージサイズは約100KBで超軽量デプロイが可能である
概要
- 公開日時
- 更新日時
- カテゴリ
- 製品とアプリ
- AI スコア
- 61
おすすめの理由
蚂蚁 inclusionAI 开源了一个 100KB 级的量化 GEMM 库,支持从 INT1 到 FP8 全家桶,SM75+ 全覆盖,做推理部署的工程师值得花半小时跑一下 benchmark,看看能不能替换掉现有的 Marlin 方案。
関連エンティティ
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:inclusionAIが高性能量子化推論GEMMカーネルライブラリHummingを発表。2026年2月11日。https://new.nat6.net/ja/news/cmorb7ik3006oslhfmf6g1irj/