Iminungkahi ng Tencent Hunyuan ang Stem sparse attention algorithm, tinanggap sa ICML 2026
Orihinal na pamagat:首字延迟降低3.6倍,腾讯混元提出Stem稀疏注意力算法,长文推理加速新SOTA
AI summary
Ang Stem algorithm, sa pamamagitan ng dalawang inobasyon na Token Position Decay (TPD) at Output-Aware Metric (OAM), ay lumalapit sa dense attention accuracy gamit lamang ang 25% compute. Ang kasamang HPC operator ay na-optimize para sa Hopper architecture, sumusuporta sa FP8 quantization at Paged KV Cache ng vLLM, at nakamit ang 3.6x na pagbaba ng first-token latency sa Hunyuan Hy3 preview. Kumpara sa MIT-BSA, ang HPC-BSA ay stable na nagpapanatili ng humigit-kumulang 3x acceleration, na pare-pareho ang performance mula 8K hanggang 256K sequence length.
Mahahalagang impormasyon
- Ang Stem algorithm,sa pamamagitan ng dalawang inobasyon na Token Position Decay (TPD) at…
- Ang kasamang HPC operator ay na-optimize para sa Hopper architecture,sumusuporta sa FP8…
- 6x na pagbaba ng first-token latency sa Hunyuan Hy3 preview.
- Kumpara sa MIT-BSA,ang HPC-BSA ay stable na nagpapanatili ng humigit-kumulang 3x acceleration,na…
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- 公众号:腾讯混元
- Kategorya
- Mga Papel at Pananaliksik
- AI na marka
- 62
把稀疏注意力从一刀切升级成按信息流分配预算,算子在Hopper上把理论加速几乎无损转化,3.6倍首字延迟下降不是灌水——做长上下文应用的值得照着开源代码试。
Kaugnay na Entity
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Iminungkahi ng Tencent Hunyuan ang Stem sparse attention algorithm, tinanggap sa ICML 2026. 5 Hunyo 2026. https://new.nat6.net/fil/news/cmq2o71l001iisl6n8ljx5jbt/