テンセント混元、Stem疎注意アルゴリズムを発表、ICML 2026に採録
原題:首字延迟降低3.6倍,腾讯混元提出Stem稀疏注意力算法,长文推理加速新SOTA
AI 要約
StemアルゴリズムはToken位置減衰(TPD)と出力認識指標(OAM)の2つの革新により、わずか25%の計算資源で稠密注意の精度に迫る。付属のHPC演算子はHopperアーキテクチャ向けに最適化され、FP8量子化とvLLMのPaged KV Cacheをサポートし、混元Hy3 preview上で初字遅延を3.6倍低減した。HPC-BSAはMIT-BSAと比べて約3倍の高速化を安定的に維持し、8Kから256Kの系列長で一貫した性能を示す。
要点
- StemアルゴリズムはToken位置減衰(TPD)と出力認識指標(OAM)の2つの革新により、わずか25%の計算資源で稠密注意の精度に迫る。
- 付属のHPC演算子はHopperアーキテクチャ向けに最適化され、FP8量子化とvLLMのPaged KV Cacheをサポートし、混元Hy3 preview上で初字遅延を3.
- 6倍低減した。
- HPC-BSAはMIT-BSAと比べて約3倍の高速化を安定的に維持し、8Kから256Kの系列長で一貫した性能を示す
概要
おすすめの理由
把稀疏注意力从一刀切升级成按信息流分配预算,算子在Hopper上把理论加速几乎无损转化,3.6倍首字延迟下降不是灌水——做长上下文应用的值得照着开源代码试。
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:テンセント混元、Stem疎注意アルゴリズムを発表、ICML 2026に採録。2026年6月5日。https://new.nat6.net/ja/news/cmq2o71l001iisl6n8ljx5jbt/