论文与研究

腾讯混元提出Stem稀疏注意力算法,被ICML 2026收录

原文标题:首字延迟降低3.6倍,腾讯混元提出Stem稀疏注意力算法,长文推理加速新SOTA

AI 摘要

Stem算法通过Token位置衰减(TPD)和输出感知度量(OAM)两项创新,仅用25%算力即逼近稠密注意力精度。配套HPC算子针对Hopper架构优化,支持FP8量化与vLLM的Paged KV Cache,在混元Hy3 preview上实现首字延迟降低3.6倍。HPC-BSA相比MIT-BSA稳定保持约3倍加速,在8K至256K序列长度上表现一致。

关键信息

  • Stem算法通过Token位置衰减(TPD)和输出感知度量(OAM)两项创新,仅用25%算力即逼近稠密注意力精度。
  • 配套HPC算子针对Hopper架构优化,支持FP8量化与vLLM的Paged KV Cache,在混元Hy3 preview上实现首字延迟降低3.
  • HPC-BSA相比MIT-BSA稳定保持约3倍加速,在8K至256K序列长度上表现一致
  • 把稀疏注意力从一刀切升级成按信息流分配预算,算子在Hopper上把理论加速几乎无损转化,3.
  • 6倍首字延迟下降不是灌水——做长上下文应用的值得照着开源代码试

速览

发布时间
更新时间
来源
公众号:腾讯混元
分类
论文与研究
AI 评分
62
阅读原文 前往信息源阅读完整正文
推荐理由

把稀疏注意力从一刀切升级成按信息流分配预算,算子在Hopper上把理论加速几乎无损转化,3.6倍首字延迟下降不是灌水——做长上下文应用的值得照着开源代码试。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:腾讯混元提出Stem稀疏注意力算法,被ICML 2026收录。2026年6月5日。https://new.nat6.net/news/cmq2o71l001iisl6n8ljx5jbt/

查看全部 →