Artículos e investigación

Mejorar la eficiencia de inferencia de modelos MoE mediante warp decode

Título original:Better MoE model inference with warp decode

Resumen de IA

Para la decodificación de lotes pequeños en GPU Blackwell, la investigación propone un nuevo método llamado "warp decode". El método invierte la ruta de cálculo tradicional centrada en expertos y hace que cada warp de la GPU calcule una neurona de salida. Este cambio radical elimina cinco pasos de pura gestión de datos ("bookkeeping") del proceso original y comprime toda la capa de cálculo MoE en solo dos kernels. Su ventaja es que evita el relleno, la dispersión y la lectura/escritura de búferes intermedios, y logra una mejor planificación gracias a la independencia de los warps. En GPU Blackwell, el método alcanza una mejora de throughput de 1,84 veces, con mayor precisión de salida: la diferencia con la referencia FP32 completa se reduce 1,4 veces, lo que acelera eficazmente el proceso de investigación y desarrollo de modelos.

Puntos clave

  • Para la decodificación de lotes pequeños en GPU Blackwell,la investigación propone un nuevo método…
  • El método invierte la ruta de cálculo tradicional centrada en expertos y hace que cada warp de la…
  • Este cambio radical elimina cinco pasos de pura gestión de datos ("bookkeeping") del proceso…
  • Su ventaja es que evita el relleno,la dispersión y la lectura/escritura de búferes intermedios,y…
  • En GPU Blackwell,el método alcanza una mejora de throughput de 1,84 veces,con mayor precisión de…

Resumen rápido

Publicado
Actualizado
Fuente
Cursor Blog
Categoría
Artículos e investigación
Puntuación IA
66
Leer el original Leer el artículo completo en la fuente original
Por qué importa

Cursor 把 MoE 推理的并行轴从专家翻转到输出神经元,Blackwell 上吞吐涨 1.84 倍还顺带提精度,这种同时赢性能和精度的内核优化极其罕见,做推理引擎的值得逐行读。

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Mejorar la eficiencia de inferencia de modelos MoE mediante warp decode. 6. abril 2026. https://new.nat6.net/es/news/cmosbbgu40075slojjfiqhvmm/

Ver todo →