Mga Papel at Pananaliksik

Iminungkahi ng Tencent Hunyuan ang Stem sparse attention algorithm, tinanggap sa ICML 2026

Orihinal na pamagat:首字延迟降低3.6倍,腾讯混元提出Stem稀疏注意力算法,长文推理加速新SOTA

AI summary

Ang Stem algorithm, sa pamamagitan ng dalawang inobasyon na Token Position Decay (TPD) at Output-Aware Metric (OAM), ay lumalapit sa dense attention accuracy gamit lamang ang 25% compute. Ang kasamang HPC operator ay na-optimize para sa Hopper architecture, sumusuporta sa FP8 quantization at Paged KV Cache ng vLLM, at nakamit ang 3.6x na pagbaba ng first-token latency sa Hunyuan Hy3 preview. Kumpara sa MIT-BSA, ang HPC-BSA ay stable na nagpapanatili ng humigit-kumulang 3x acceleration, na pare-pareho ang performance mula 8K hanggang 256K sequence length.

Mahahalagang impormasyon

  • Ang Stem algorithm,sa pamamagitan ng dalawang inobasyon na Token Position Decay (TPD) at…
  • Ang kasamang HPC operator ay na-optimize para sa Hopper architecture,sumusuporta sa FP8…
  • 6x na pagbaba ng first-token latency sa Hunyuan Hy3 preview.
  • Kumpara sa MIT-BSA,ang HPC-BSA ay stable na nagpapanatili ng humigit-kumulang 3x acceleration,na…

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
公众号:腾讯混元
Kategorya
Mga Papel at Pananaliksik
AI na marka
62
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

把稀疏注意力从一刀切升级成按信息流分配预算,算子在Hopper上把理论加速几乎无损转化,3.6倍首字延迟下降不是灌水——做长上下文应用的值得照着开源代码试。

Kaugnay na Entity

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Iminungkahi ng Tencent Hunyuan ang Stem sparse attention algorithm, tinanggap sa ICML 2026. 5 Hunyo 2026. https://new.nat6.net/fil/news/cmq2o71l001iisl6n8ljx5jbt/

Tingnan lahat →