Tencent Hunyuan предлагает алгоритм разреженного внимания Stem, принятый на ICML 2026
Оригинальный заголовок:首字延迟降低3.6倍,腾讯混元提出Stem稀疏注意力算法,长文推理加速新SOTA
ИИ-резюме
Алгоритм Stem благодаря двум инновациям — затуханию по позиции токена (TPD) и метрике с учётом выхода (OAM) — приближается к точности плотного внимания, используя лишь 25% вычислений. Сопутствующий оператор HPC оптимизирован под архитектуру Hopper, поддерживает квантование FP8 и Paged KV Cache в vLLM, а на Hunyuan Hy3 preview снижает задержку первого токена в 3,6 раза. HPC-BSA стабильно обеспечивает ускорение примерно в 3 раза по сравнению с MIT-BSA на длинах последовательностей от 8K до 256K.
Ключевые моменты
- Алгоритм Stem благодаря двум инновациям — затуханию по позиции токена (TPD) и метрике с учётом…
- Сопутствующий оператор HPC оптимизирован под архитектуру Hopper,поддерживает квантование FP8 и…
- HPC-BSA стабильно обеспечивает ускорение примерно в 3 раза по сравнению с MIT-BSA на длинах…
Кратко
- Опубликовано
- Обновлено
- Источник
- 公众号:腾讯混元
- Категория
- Статьи и исследования
- Оценка ИИ
- 62
把稀疏注意力从一刀切升级成按信息流分配预算,算子在Hopper上把理论加速几乎无损转化,3.6倍首字延迟下降不是灌水——做长上下文应用的值得照着开源代码试。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Tencent Hunyuan предлагает алгоритм разреженного внимания Stem, принятый на ICML 2026. 5 июня 2026. https://new.nat6.net/ru/news/cmq2o71l001iisl6n8ljx5jbt/