Artículos e investigación

Tencent Hunyuan propone el algoritmo de atención dispersa Stem, aceptado en ICML 2026

Título original:首字延迟降低3.6倍,腾讯混元提出Stem稀疏注意力算法,长文推理加速新SOTA

Resumen de IA

El algoritmo Stem, mediante dos innovaciones —la atenuación por posición de Token (TPD) y la métrica sensible a la salida (OAM)—, se aproxima a la precisión de la atención densa con solo un 25% de cómputo. El operador HPC asociado está optimizado para la arquitectura Hopper, admite cuantización FP8 y Paged KV Cache de vLLM, y logra reducir 3.6 veces la latencia del primer token en Hunyuan Hy3 preview. HPC-BSA mantiene de forma estable una aceleración de aproximadamente 3 veces frente a MIT-BSA, con un rendimiento consistente en longitudes de secuencia de 8K a 256K.

Puntos clave

  • El algoritmo Stem,mediante dos innovaciones —la atenuación por posición de Token (TPD) y la…
  • El operador HPC asociado está optimizado para la arquitectura Hopper,admite cuantización FP8 y…
  • 6 veces la latencia del primer token en Hunyuan Hy3 preview.
  • HPC-BSA mantiene de forma estable una aceleración de aproximadamente 3 veces frente a MIT-BSA,con…

Resumen rápido

Publicado
Actualizado
Fuente
公众号:腾讯混元
Categoría
Artículos e investigación
Puntuación IA
62
Leer el original Leer el artículo completo en la fuente original
Por qué importa

把稀疏注意力从一刀切升级成按信息流分配预算,算子在Hopper上把理论加速几乎无损转化,3.6倍首字延迟下降不是灌水——做长上下文应用的值得照着开源代码试。

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Tencent Hunyuan propone el algoritmo de atención dispersa Stem, aceptado en ICML 2026. 5. junio 2026. https://new.nat6.net/es/news/cmq2o71l001iisl6n8ljx5jbt/

Ver todo →