Mga produkto at aplikasyon

Xiaohongshu at Peking University inilabas ang open source na UltraEP: real-time load balancing para sa large-scale MoE training at inference

Orihinal na pamagat:小红书、北大开源 UltraEP:面向大规模 MoE 训推的「最优」负载均衡方案

AI summary

Iminungkahi ng Xiaohongshu at Peking University ang UltraEP, na unang nagdala ng real-time load balancing batay sa eksaktong routing information sa production system, na dynamic na nagdodoble sa mga hot expert sa bawat microbatch at bawat layer. Sa mga modelo tulad ng Qwen3-235B, ang training throughput ay umaabot sa average na 94.6% ng ideal performance, 42% na pagtaas kumpara sa Megatron-LM; ang inference prefill throughput ay 1.56x na pagtaas kumpara sa SGLang.

Mahahalagang impormasyon

  • Iminungkahi ng Xiaohongshu at Peking University ang UltraEP,na unang nagdala ng real-time load…
  • Sa mga modelo tulad ng Qwen3-235B,ang training throughput ay umaabot sa average na 94.
  • 6% ng ideal performance,42% na pagtaas kumpara sa Megatron-LM
  • ang inference prefill throughput ay 1.
  • 56x na pagtaas kumpara sa SGLang.

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
公众号:小红书技术(dots.llm)
Kategorya
Mga produkto at aplikasyon
AI na marka
68
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

MoE 训练推理的负载不均是个老痛点,UltraEP 用实时复制热专家的方式把 GPU 利用率拉到 94% 的理想线,代码和论文都开源了,做大规模分布式训练的团队可以直接参考。

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Xiaohongshu at Peking University inilabas ang open source na UltraEP: real-time load balancing para sa large-scale MoE training at inference. 20 Hulyo 2026. https://new.nat6.net/fil/news/cmrsy2z9e03wpbitlqgh25fol/

Tingnan lahat →