Mejorar la eficiencia de inferencia de modelos MoE mediante warp decode
Título original:Better MoE model inference with warp decode
Resumen de IA
Para la decodificación de lotes pequeños en GPU Blackwell, la investigación propone un nuevo método llamado "warp decode". El método invierte la ruta de cálculo tradicional centrada en expertos y hace que cada warp de la GPU calcule una neurona de salida. Este cambio radical elimina cinco pasos de pura gestión de datos ("bookkeeping") del proceso original y comprime toda la capa de cálculo MoE en solo dos kernels. Su ventaja es que evita el relleno, la dispersión y la lectura/escritura de búferes intermedios, y logra una mejor planificación gracias a la independencia de los warps. En GPU Blackwell, el método alcanza una mejora de throughput de 1,84 veces, con mayor precisión de salida: la diferencia con la referencia FP32 completa se reduce 1,4 veces, lo que acelera eficazmente el proceso de investigación y desarrollo de modelos.
Puntos clave
- Para la decodificación de lotes pequeños en GPU Blackwell,la investigación propone un nuevo método…
- El método invierte la ruta de cálculo tradicional centrada en expertos y hace que cada warp de la…
- Este cambio radical elimina cinco pasos de pura gestión de datos ("bookkeeping") del proceso…
- Su ventaja es que evita el relleno,la dispersión y la lectura/escritura de búferes intermedios,y…
- En GPU Blackwell,el método alcanza una mejora de throughput de 1,84 veces,con mayor precisión de…
Resumen rápido
- Publicado
- Actualizado
- Fuente
- Cursor Blog
- Categoría
- Artículos e investigación
- Puntuación IA
- 66
Cursor 把 MoE 推理的并行轴从专家翻转到输出神经元,Blackwell 上吞吐涨 1.84 倍还顺带提精度,这种同时赢性能和精度的内核优化极其罕见,做推理引擎的值得逐行读。
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Mejorar la eficiencia de inferencia de modelos MoE mediante warp decode. 6. abril 2026. https://new.nat6.net/es/news/cmosbbgu40075slojjfiqhvmm/