製品とアプリ

inclusionAIが高性能量子化推論GEMMカーネルライブラリHummingを発表

原題:inclusionAI/humming

AI 要約

inclusionAIは量子化推論向けに設計された高性能・軽量なジャストインタイムコンパイルGEMMカーネルライブラリHummingをオープンソース化した。FP16、BF16、FP8などの活性化データ型で8ビット未満の任意の重み型推論をサポートし、多様な量子化戦略とスケーリング型に対応、密GEMMと混合エキスパートGEMMの両演算をサポートする。SM75以上のすべてのNVIDIA GPUに対応し、多様な計算シーンで業界最先端のスループットと効率を提供する。依存関係は極めて簡素でPyTorchとNVCCのみ、パッケージサイズは約100KBで超軽量デプロイが可能である。

要点

  • inclusionAIは量子化推論向けに設計された高性能・軽量なジャストインタイムコンパイルGEMMカーネルライブラリHummingをオープンソース化した。
  • FP16、BF16、FP8などの活性化データ型で8ビット未満の任意の重み型推論をサポートし、多様な量子化戦略とスケーリング型に対応、密GEMMと混合エキスパートGEMMの両演算をサポートする。
  • SM75以上のすべてのNVIDIA GPUに対応し、多様な計算シーンで業界最先端のスループットと効率を提供する。
  • 依存関係は極めて簡素でPyTorchとNVCCのみ、パッケージサイズは約100KBで超軽量デプロイが可能である

概要

公開日時
更新日時
出典
蚂蚁 inclusionAI:GitHub 新仓库
カテゴリ
製品とアプリ
AI スコア
61
原文を読む 情報源で全文を読む
おすすめの理由

蚂蚁 inclusionAI 开源了一个 100KB 级的量化 GEMM 库,支持从 INT1 到 FP8 全家桶,SM75+ 全覆盖,做推理部署的工程师值得花半小时跑一下 benchmark,看看能不能替换掉现有的 Marlin 方案。

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:inclusionAIが高性能量子化推論GEMMカーネルライブラリHummingを発表。2026年2月11日。https://new.nat6.net/ja/news/cmorb7ik3006oslhfmf6g1irj/

すべて見る →