Xiaohongshu und Peking-Universität veröffentlichen UltraEP als Open Source: Echtzeit-Lastausgleich für Training und Inferenz großer MoE-Modelle
Originaltitel:小红书、北大开源 UltraEP:面向大规模 MoE 训推的「最优」负载均衡方案
KI-Zusammenfassung
Xiaohongshu und die Peking-Universität haben UltraEP vorgestellt, das erstmals einen Echtzeit-Lastausgleich auf Basis präziser Routing-Informationen in ein Produktionssystem bringt und Hot-Experten in jedem Microbatch und jeder Schicht dynamisch repliziert. Bei Modellen wie Qwen3-235B erreicht der Trainingsdurchsatz im Durchschnitt 94,6 % der idealen Leistung, eine Steigerung von 42 % gegenüber Megatron-LM; der Inferenz-Prefill-Durchsatz liegt 1,56-mal höher als bei SGLang.
Kernpunkte
- Xiaohongshu und die Peking-Universität haben UltraEP vorgestellt,das erstmals einen…
- Bei Modellen wie Qwen3-235B erreicht der Trainingsdurchsatz im Durchschnitt 94,6 % der idealen…
- der Inferenz-Prefill-Durchsatz liegt 1,56-mal höher als bei SGLang.
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- 公众号:小红书技术(dots.llm)
- Kategorie
- Produkte & Apps
- KI-Bewertung
- 68
MoE 训练推理的负载不均是个老痛点,UltraEP 用实时复制热专家的方式把 GPU 利用率拉到 94% 的理想线,代码和论文都开源了,做大规模分布式训练的团队可以直接参考。
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: Xiaohongshu und Peking-Universität veröffentlichen UltraEP als Open Source: Echtzeit-Lastausgleich für Training und Inferenz großer MoE-Modelle. 20. Juli 2026. https://new.nat6.net/de/news/cmrsy2z9e03wpbitlqgh25fol/