Статьи и исследования

Tencent Hunyuan предлагает алгоритм разреженного внимания Stem, принятый на ICML 2026

Оригинальный заголовок:首字延迟降低3.6倍,腾讯混元提出Stem稀疏注意力算法,长文推理加速新SOTA

ИИ-резюме

Алгоритм Stem благодаря двум инновациям — затуханию по позиции токена (TPD) и метрике с учётом выхода (OAM) — приближается к точности плотного внимания, используя лишь 25% вычислений. Сопутствующий оператор HPC оптимизирован под архитектуру Hopper, поддерживает квантование FP8 и Paged KV Cache в vLLM, а на Hunyuan Hy3 preview снижает задержку первого токена в 3,6 раза. HPC-BSA стабильно обеспечивает ускорение примерно в 3 раза по сравнению с MIT-BSA на длинах последовательностей от 8K до 256K.

Ключевые моменты

  • Алгоритм Stem благодаря двум инновациям — затуханию по позиции токена (TPD) и метрике с учётом…
  • Сопутствующий оператор HPC оптимизирован под архитектуру Hopper,поддерживает квантование FP8 и…
  • HPC-BSA стабильно обеспечивает ускорение примерно в 3 раза по сравнению с MIT-BSA на длинах…

Кратко

Опубликовано
Обновлено
Источник
公众号:腾讯混元
Категория
Статьи и исследования
Оценка ИИ
62
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

把稀疏注意力从一刀切升级成按信息流分配预算,算子在Hopper上把理论加速几乎无损转化,3.6倍首字延迟下降不是灌水——做长上下文应用的值得照着开源代码试。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Tencent Hunyuan предлагает алгоритм разреженного внимания Stem, принятый на ICML 2026. 5 июня 2026. https://new.nat6.net/ru/news/cmq2o71l001iisl6n8ljx5jbt/

Смотреть все →