論文・研究

テンセント混元、Stem疎注意アルゴリズムを発表、ICML 2026に採録

原題:首字延迟降低3.6倍,腾讯混元提出Stem稀疏注意力算法,长文推理加速新SOTA

AI 要約

StemアルゴリズムはToken位置減衰(TPD)と出力認識指標(OAM)の2つの革新により、わずか25%の計算資源で稠密注意の精度に迫る。付属のHPC演算子はHopperアーキテクチャ向けに最適化され、FP8量子化とvLLMのPaged KV Cacheをサポートし、混元Hy3 preview上で初字遅延を3.6倍低減した。HPC-BSAはMIT-BSAと比べて約3倍の高速化を安定的に維持し、8Kから256Kの系列長で一貫した性能を示す。

要点

  • StemアルゴリズムはToken位置減衰(TPD)と出力認識指標(OAM)の2つの革新により、わずか25%の計算資源で稠密注意の精度に迫る。
  • 付属のHPC演算子はHopperアーキテクチャ向けに最適化され、FP8量子化とvLLMのPaged KV Cacheをサポートし、混元Hy3 preview上で初字遅延を3.
  • 6倍低減した。
  • HPC-BSAはMIT-BSAと比べて約3倍の高速化を安定的に維持し、8Kから256Kの系列長で一貫した性能を示す

概要

公開日時
更新日時
出典
公众号:腾讯混元
カテゴリ
論文・研究
AI スコア
62
原文を読む 情報源で全文を読む
おすすめの理由

把稀疏注意力从一刀切升级成按信息流分配预算,算子在Hopper上把理论加速几乎无损转化,3.6倍首字延迟下降不是灌水——做长上下文应用的值得照着开源代码试。

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:テンセント混元、Stem疎注意アルゴリズムを発表、ICML 2026に採録。2026年6月5日。https://new.nat6.net/ja/news/cmq2o71l001iisl6n8ljx5jbt/

すべて見る →