Tencent Hunyuan Mengusulkan Algoritma Attention Sparse Stem, Diterima ICML 2026
Judul asli:首字延迟降低3.6倍,腾讯混元提出Stem稀疏注意力算法,长文推理加速新SOTA
Ringkasan AI
Algoritma Stem melalui dua inovasi, Token Position Decay (TPD) dan Output-Aware Measure (OAM), mendekati akurasi attention dense hanya dengan 25% daya komputasi. Operator HPC pendamping dioptimalkan untuk arsitektur Hopper, mendukung kuantisasi FP8 dan Paged KV Cache vLLM, serta mencapai penurunan latensi token pertama hingga 3,6 kali pada Hunyuan Hy3 preview. HPC-BSA secara stabil mempertahankan percepatan sekitar 3 kali dibandingkan MIT-BSA, dengan performa konsisten pada panjang sekuens 8K hingga 256K.
Poin utama
- Algoritma Stem melalui dua inovasi,Token Position Decay (TPD) dan Output-Aware Measure…
- Operator HPC pendamping dioptimalkan untuk arsitektur Hopper,mendukung kuantisasi FP8 dan Paged KV…
- HPC-BSA secara stabil mempertahankan percepatan sekitar 3 kali dibandingkan MIT-BSA,dengan…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- 公众号:腾讯混元
- Kategori
- Makalah & Riset
- Skor AI
- 62
把稀疏注意力从一刀切升级成按信息流分配预算,算子在Hopper上把理论加速几乎无损转化,3.6倍首字延迟下降不是灌水——做长上下文应用的值得照着开源代码试。
Entitas Terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Tencent Hunyuan Mengusulkan Algoritma Attention Sparse Stem, Diterima ICML 2026. 5 Juni 2026. https://new.nat6.net/id/news/cmq2o71l001iisl6n8ljx5jbt/