Tencent Hunyuan stellt Stem-Sparse-Attention-Algorithmus vor, aufgenommen in ICML 2026
Originaltitel:首字延迟降低3.6倍,腾讯混元提出Stem稀疏注意力算法,长文推理加速新SOTA
KI-Zusammenfassung
Der Stem-Algorithmus nähert sich mit nur 25 % Rechenleistung der Genauigkeit dichter Attention an, dank zweier Innovationen: Token-Position-Decay (TPD) und Output-Aware Metric (OAM). Der begleitende HPC-Operator ist für die Hopper-Architektur optimiert, unterstützt FP8-Quantisierung und den Paged KV Cache von vLLM und senkt auf Hunyuan Hy3 preview die Latenz bis zum ersten Token um das 3,6-Fache. HPC-BSA hält im Vergleich zu MIT-BSA stabil etwa die 3-fache Beschleunigung und zeigt bei Sequenzlängen von 8K bis 256K konsistente Ergebnisse.
Kernpunkte
- Der Stem-Algorithmus nähert sich mit nur 25 % Rechenleistung der Genauigkeit dichter Attention…
- Der begleitende HPC-Operator ist für die Hopper-Architektur optimiert,unterstützt…
- HPC-BSA hält im Vergleich zu MIT-BSA stabil etwa die 3-fache Beschleunigung und zeigt bei…
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- 公众号:腾讯混元
- Kategorie
- Papers & Forschung
- KI-Bewertung
- 62
把稀疏注意力从一刀切升级成按信息流分配预算,算子在Hopper上把理论加速几乎无损转化,3.6倍首字延迟下降不是灌水——做长上下文应用的值得照着开源代码试。
Verwandte Entitäten
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: Tencent Hunyuan stellt Stem-Sparse-Attention-Algorithmus vor, aufgenommen in ICML 2026. 5. Juni 2026. https://new.nat6.net/de/news/cmq2o71l001iisl6n8ljx5jbt/