Tencent Hunyuan AI Infra abre nuevo código: actualización integral de los operadores centrales de inferencia HPC-Ops
Resumen de IA
El equipo de Tencent Hunyuan AI Infra actualizó y abrió el código de la biblioteca de operadores de inferencia HPC-Ops, con cinco operadores centrales. Attention emplea programación dinámica de carga en tiempo de ejecución, con una aceleración de hasta 2.95x en textos largos y un aumento del QPM de extremo a extremo del 17%; Router GEMM logra precisión FP32 mediante la combinación de dos BF16, con una aceleración de hasta 3.22x frente a CuBLAS FP32; FusedMoE mejora el rendimiento entre 1.2x y 1.6x respecto a vLLM y SGLang; Fused AllReduce+Norm acelera hasta 1.68x frente a las soluciones predominantes; Sampler fusiona el muestreo de decodificación en 2 kernels CUDA, con una aceleración de 4.0x a 7.5x respecto a vLLM. Todas las capacidades provienen de la práctica en producción y son completamente de código abierto.
Puntos clave
- El equipo de Tencent Hunyuan AI Infra actualizó y abrió el código de la biblioteca de operadores…
- Attention emplea programación dinámica de carga en tiempo de ejecución,con una aceleración de…
- 95x en textos largos y un aumento del QPM de extremo a extremo del 17%
- Router GEMM logra precisión FP32 mediante la combinación de dos BF16,con una aceleración de hasta 3.
- 22x frente a CuBLAS FP32
Resumen rápido
- Publicado
- Actualizado
- Fuente
- 公众号:腾讯混元
- Categoría
- Productos y aplicaciones
- Puntuación IA
- 78
腾讯混元把推理全链路的瓶颈都加速了一遍,Sampler 算子比 vLLM 快 4-7 倍,Attention 动态调度根治长尾延迟,这套开源算子库可以直接用,做推理部署的可以抄作业。
Entidades relacionadas
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Tencent Hunyuan AI Infra abre nuevo código: actualización integral de los operadores centrales de inferencia HPC-Ops. 11. junio 2026. https://new.nat6.net/es/news/cmq99cd9g09skslldniw7u2ub/