Productos y aplicaciones

Xiaohongshu y la Universidad de Pekín abren UltraEP: la solución de equilibrio de carga «óptima» para entrenamiento e inferencia MoE a gran escala

Resumen de IA

Xiaohongshu y la Universidad de Pekín abren UltraEP, que introduce por primera vez en un sistema de producción el equilibrio de carga en tiempo real basado en información de enrutamiento precisa, replicando dinámicamente los expertos populares en cada microbatch y en cada capa. Alcanza de media el 94,3% del rendimiento ideal, 1,49 veces más que los frameworks de entrenamiento e inferencia SOTA del sector. La solución se ha desplegado en el preentrenamiento completo de un modelo MoE de 288B parámetros, manteniendo no menos del 92% del rendimiento ideal.

Puntos clave

  • Xiaohongshu y la Universidad de Pekín abren UltraEP,que introduce por primera vez en un sistema de…
  • Alcanza de media el 94,3% del rendimiento ideal,1,49 veces más que los frameworks de entrenamiento…
  • La solución se ha desplegado en el preentrenamiento completo de un modelo MoE de 288B…

Resumen rápido

Publicado
Actualizado
Fuente
公众号:小红书技术(dots.llm)
Categoría
Productos y aplicaciones
Puntuación IA
76
Leer el original Leer el artículo completo en la fuente original
Por qué importa

动态复制热点专家替代了基于历史窗口的重排,将MoE训推吞吐从理想的一半拉至90%以上,对自研大规模模型的团队而言,是一套可落地的负载均衡方案。

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Xiaohongshu y la Universidad de Pekín abren UltraEP: la solución de equilibrio de carga «óptima» para entrenamiento e inferencia MoE a gran escala. 20. julio 2026. https://new.nat6.net/es/news/cmsdu108a00uerofzae7t96q3/

Ver todo →