Xiaohongshu y la Universidad de Pekín abren UltraEP: una solución de equilibrio de carga en tiempo real para entrenamiento e inferencia MoE a gran escala
Título original:小红书、北大开源 UltraEP:面向大规模 MoE 训推的「最优」负载均衡方案
Resumen de IA
Xiaohongshu y la Universidad de Pekín proponen UltraEP, que introduce por primera vez en un sistema de producción el equilibrio de carga en tiempo real basado en información de enrutamiento precisa, replicando dinámicamente los expertos populares en cada microbatch y en cada capa. En modelos como Qwen3-235B, el rendimiento de entrenamiento alcanza de media el 94,6% del rendimiento ideal, un 42% más que Megatron-LM; el rendimiento de prefill en inferencia es 1,56 veces superior al de SGLang.
Puntos clave
- Xiaohongshu y la Universidad de Pekín proponen UltraEP,que introduce por primera vez en un sistema…
- En modelos como Qwen3-235B,el rendimiento de entrenamiento alcanza de media el 94,6% del…
- el rendimiento de prefill en inferencia es 1,56 veces superior al de SGLang.
Resumen rápido
- Publicado
- Actualizado
- Fuente
- 公众号:小红书技术(dots.llm)
- Categoría
- Productos y aplicaciones
- Puntuación IA
- 68
MoE 训练推理的负载不均是个老痛点,UltraEP 用实时复制热专家的方式把 GPU 利用率拉到 94% 的理想线,代码和论文都开源了,做大规模分布式训练的团队可以直接参考。
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Xiaohongshu y la Universidad de Pekín abren UltraEP: una solución de equilibrio de carga en tiempo real para entrenamiento e inferencia MoE a gran escala. 20. julio 2026. https://new.nat6.net/es/news/cmrsy2z9e03wpbitlqgh25fol/