Makalah & Riset

Tencent Hunyuan Mengusulkan Algoritma Attention Sparse Stem, Diterima ICML 2026

Judul asli:首字延迟降低3.6倍,腾讯混元提出Stem稀疏注意力算法,长文推理加速新SOTA

Ringkasan AI

Algoritma Stem melalui dua inovasi, Token Position Decay (TPD) dan Output-Aware Measure (OAM), mendekati akurasi attention dense hanya dengan 25% daya komputasi. Operator HPC pendamping dioptimalkan untuk arsitektur Hopper, mendukung kuantisasi FP8 dan Paged KV Cache vLLM, serta mencapai penurunan latensi token pertama hingga 3,6 kali pada Hunyuan Hy3 preview. HPC-BSA secara stabil mempertahankan percepatan sekitar 3 kali dibandingkan MIT-BSA, dengan performa konsisten pada panjang sekuens 8K hingga 256K.

Poin utama

  • Algoritma Stem melalui dua inovasi,Token Position Decay (TPD) dan Output-Aware Measure…
  • Operator HPC pendamping dioptimalkan untuk arsitektur Hopper,mendukung kuantisasi FP8 dan Paged KV…
  • HPC-BSA secara stabil mempertahankan percepatan sekitar 3 kali dibandingkan MIT-BSA,dengan…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
公众号:腾讯混元
Kategori
Makalah & Riset
Skor AI
62
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

把稀疏注意力从一刀切升级成按信息流分配预算,算子在Hopper上把理论加速几乎无损转化,3.6倍首字延迟下降不是灌水——做长上下文应用的值得照着开源代码试。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Tencent Hunyuan Mengusulkan Algoritma Attention Sparse Stem, Diterima ICML 2026. 5 Juni 2026. https://new.nat6.net/id/news/cmq2o71l001iisl6n8ljx5jbt/

Lihat semua →