Tencent Hunyuan propose l'algorithme d'attention clairsemée Stem, accepté à ICML 2026
Titre original:首字延迟降低3.6倍,腾讯混元提出Stem稀疏注意力算法,长文推理加速新SOTA
Résumé IA
L'algorithme Stem, grâce à deux innovations — la décroissance par position de token (TPD) et la mesure sensible à la sortie (OAM) —, approche la précision de l'attention dense avec seulement 25 % du calcul. L'opérateur HPC associé, optimisé pour l'architecture Hopper, prend en charge la quantification FP8 et le Paged KV Cache de vLLM, réduisant la latence du premier token d'un facteur 3,6 sur Hunyuan Hy3 preview. HPC-BSA maintient un gain d'accélération d'environ 3x par rapport à MIT-BSA, de manière constante sur des séquences de 8K à 256K.
Points clés
- L'algorithme Stem,grâce à deux innovations — la décroissance par position de token (TPD) et la…
- L'opérateur HPC associé,optimisé pour l'architecture Hopper,prend en charge la quantification FP8…
- HPC-BSA maintient un gain d'accélération d'environ 3x par rapport à MIT-BSA,de manière constante…
En bref
- Publié
- Mis à jour
- Source
- 公众号:腾讯混元
- Catégorie
- Articles et recherche
- Score IA
- 62
把稀疏注意力从一刀切升级成按信息流分配预算,算子在Hopper上把理论加速几乎无损转化,3.6倍首字延迟下降不是灌水——做长上下文应用的值得照着开源代码试。
Entités associées
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Tencent Hunyuan propose l'algorithme d'attention clairsemée Stem, accepté à ICML 2026. 5. juin 2026. https://new.nat6.net/fr/news/cmq2o71l001iisl6n8ljx5jbt/