Tencent Hunyuan memperkenalkan algoritma perhatian jarang Stem, diterima masuk ICML 2026
Tajuk asal:首字延迟降低3.6倍,腾讯混元提出Stem稀疏注意力算法,长文推理加速新SOTA
Ringkasan AI
Algoritma Stem melalui dua inovasi iaitu Token Position Decay (TPD) dan Output-Aware Metric (OAM), menggunakan hanya 25% kuasa pengiraan untuk menghampiri ketepatan perhatian padat. Pengendali HPC yang disertakan dioptimumkan untuk seni bina Hopper, menyokong kuantisasi FP8 dan Paged KV Cache vLLM, serta mencapai pengurangan kependaman token pertama sebanyak 3.6 kali pada Hunyuan Hy3 preview. HPC-BSA mengekalkan pecutan kira-kira 3 kali secara stabil berbanding MIT-BSA, dengan prestasi konsisten pada panjang jujukan 8K hingga 256K.
Maklumat penting
- Algoritma Stem melalui dua inovasi iaitu Token Position Decay (TPD) dan Output-Aware Metric…
- Pengendali HPC yang disertakan dioptimumkan untuk seni bina Hopper,menyokong kuantisasi FP8 dan…
- 6 kali pada Hunyuan Hy3 preview.
- HPC-BSA mengekalkan pecutan kira-kira 3 kali secara stabil berbanding MIT-BSA,dengan prestasi…
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- 公众号:腾讯混元
- Kategori
- Kertas penyelidikan
- Skor AI
- 62
把稀疏注意力从一刀切升级成按信息流分配预算,算子在Hopper上把理论加速几乎无损转化,3.6倍首字延迟下降不是灌水——做长上下文应用的值得照着开源代码试。
Entiti Berkaitan
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Tencent Hunyuan memperkenalkan algoritma perhatian jarang Stem, diterima masuk ICML 2026. 5 Jun 2026. https://new.nat6.net/ms/news/cmq2o71l001iisl6n8ljx5jbt/