HPC-Ops × SGLang: Tencent Hunyuan libera Attention, Router GEMM y operadores MoE de alto rendimiento de código abierto
Título original:Blog HPC-Ops × SGLang: High-Performance Attention, Router GEMM, and MoE Kernels from Tencent Hunyuan HPC-Ops is an open-source operator library for LLM inference, deployed in Tencent's large-scale production serving. Its core operators, including Dynamic Attention and Fused MoE, play a critical role ... Tencent Hunyuan AI Infra and the SGLang Team
Resumen de IA
La biblioteca de operadores de código abierto HPC-Ops de Tencent Hunyuan se ha integrado en la rama principal de SGLang; su Dynamic Attention y su Fused MoE reducen el TPOT hasta un 48,8 % en el modelo Hy3.
Puntos clave
- La biblioteca de operadores de código abierto HPC-Ops de Tencent Hunyuan se ha integrado en la…
- su Dynamic Attention y su Fused MoE reducen el TPOT hasta un 48
- 8 % en el modelo Hy3.
Resumen rápido
- Publicado
- Actualizado
- Fuente
- LMSYS Blog
- Categoría
- Productos y aplicaciones
- Puntuación IA
- 76
HPC-Ops 集成到 SGLang,带来生产验证的负载均衡 Attention 和精度感知 Router GEMM,实测 Hy3 TPOT 降幅最高 48.8%,为 MoE 低延迟服务提供了可直接使用的开源优化。
Entidades relacionadas
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: HPC-Ops × SGLang: Tencent Hunyuan libera Attention, Router GEMM y operadores MoE de alto rendimiento de código abierto. 7. agosto 2026. https://new.nat6.net/es/news/cmsj8rfkl02ruroo5uvyqiqiq/