Productos y aplicaciones

Tencent Hunyuan AI Infra abre nuevo código: actualización integral de los operadores centrales de inferencia HPC-Ops

Resumen de IA

El equipo de Tencent Hunyuan AI Infra actualizó y abrió el código de la biblioteca de operadores de inferencia HPC-Ops, con cinco operadores centrales. Attention emplea programación dinámica de carga en tiempo de ejecución, con una aceleración de hasta 2.95x en textos largos y un aumento del QPM de extremo a extremo del 17%; Router GEMM logra precisión FP32 mediante la combinación de dos BF16, con una aceleración de hasta 3.22x frente a CuBLAS FP32; FusedMoE mejora el rendimiento entre 1.2x y 1.6x respecto a vLLM y SGLang; Fused AllReduce+Norm acelera hasta 1.68x frente a las soluciones predominantes; Sampler fusiona el muestreo de decodificación en 2 kernels CUDA, con una aceleración de 4.0x a 7.5x respecto a vLLM. Todas las capacidades provienen de la práctica en producción y son completamente de código abierto.

Puntos clave

  • El equipo de Tencent Hunyuan AI Infra actualizó y abrió el código de la biblioteca de operadores…
  • Attention emplea programación dinámica de carga en tiempo de ejecución,con una aceleración de…
  • 95x en textos largos y un aumento del QPM de extremo a extremo del 17%
  • Router GEMM logra precisión FP32 mediante la combinación de dos BF16,con una aceleración de hasta 3.
  • 22x frente a CuBLAS FP32

Resumen rápido

Publicado
Actualizado
Fuente
公众号:腾讯混元
Categoría
Productos y aplicaciones
Puntuación IA
78
Leer el original Leer el artículo completo en la fuente original
Por qué importa

腾讯混元把推理全链路的瓶颈都加速了一遍,Sampler 算子比 vLLM 快 4-7 倍,Attention 动态调度根治长尾延迟,这套开源算子库可以直接用,做推理部署的可以抄作业。

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Tencent Hunyuan AI Infra abre nuevo código: actualización integral de los operadores centrales de inferencia HPC-Ops. 11. junio 2026. https://new.nat6.net/es/news/cmq99cd9g09skslldniw7u2ub/

Ver todo →