Productos y aplicaciones

HPC-Ops × SGLang: Tencent Hunyuan libera Attention, Router GEMM y operadores MoE de alto rendimiento de código abierto

Título original:Blog HPC-Ops × SGLang: High-Performance Attention, Router GEMM, and MoE Kernels from Tencent Hunyuan HPC-Ops is an open-source operator library for LLM inference, deployed in Tencent's large-scale production serving. Its core operators, including Dynamic Attention and Fused MoE, play a critical role ... Tencent Hunyuan AI Infra and the SGLang Team

Resumen de IA

La biblioteca de operadores de código abierto HPC-Ops de Tencent Hunyuan se ha integrado en la rama principal de SGLang; su Dynamic Attention y su Fused MoE reducen el TPOT hasta un 48,8 % en el modelo Hy3.

Puntos clave

  • La biblioteca de operadores de código abierto HPC-Ops de Tencent Hunyuan se ha integrado en la…
  • su Dynamic Attention y su Fused MoE reducen el TPOT hasta un 48
  • 8 % en el modelo Hy3.

Resumen rápido

Publicado
Actualizado
Fuente
LMSYS Blog
Categoría
Productos y aplicaciones
Puntuación IA
76
Leer el original Leer el artículo completo en la fuente original
Por qué importa

HPC-Ops 集成到 SGLang,带来生产验证的负载均衡 Attention 和精度感知 Router GEMM,实测 Hy3 TPOT 降幅最高 48.8%,为 MoE 低延迟服务提供了可直接使用的开源优化。

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: HPC-Ops × SGLang: Tencent Hunyuan libera Attention, Router GEMM y operadores MoE de alto rendimiento de código abierto. 7. agosto 2026. https://new.nat6.net/es/news/cmsj8rfkl02ruroo5uvyqiqiq/

Ver todo →