Xiaohongshu at Peking University inilabas ang open source na UltraEP: real-time load balancing para sa large-scale MoE training at inference
Orihinal na pamagat:小红书、北大开源 UltraEP:面向大规模 MoE 训推的「最优」负载均衡方案
AI summary
Iminungkahi ng Xiaohongshu at Peking University ang UltraEP, na unang nagdala ng real-time load balancing batay sa eksaktong routing information sa production system, na dynamic na nagdodoble sa mga hot expert sa bawat microbatch at bawat layer. Sa mga modelo tulad ng Qwen3-235B, ang training throughput ay umaabot sa average na 94.6% ng ideal performance, 42% na pagtaas kumpara sa Megatron-LM; ang inference prefill throughput ay 1.56x na pagtaas kumpara sa SGLang.
Mahahalagang impormasyon
- Iminungkahi ng Xiaohongshu at Peking University ang UltraEP,na unang nagdala ng real-time load…
- Sa mga modelo tulad ng Qwen3-235B,ang training throughput ay umaabot sa average na 94.
- 6% ng ideal performance,42% na pagtaas kumpara sa Megatron-LM
- ang inference prefill throughput ay 1.
- 56x na pagtaas kumpara sa SGLang.
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- 公众号:小红书技术(dots.llm)
- Kategorya
- Mga produkto at aplikasyon
- AI na marka
- 68
MoE 训练推理的负载不均是个老痛点,UltraEP 用实时复制热专家的方式把 GPU 利用率拉到 94% 的理想线,代码和论文都开源了,做大规模分布式训练的团队可以直接参考。
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Xiaohongshu at Peking University inilabas ang open source na UltraEP: real-time load balancing para sa large-scale MoE training at inference. 20 Hulyo 2026. https://new.nat6.net/fil/news/cmrsy2z9e03wpbitlqgh25fol/