Xiaohongshu और पेकिंग विश्वविद्यालय ने UltraEP ओपन-सोर्स किया: बड़े पैमाने पर MoE प्रशिक्षण और अनुमान के लिए रीयल-टाइम लोड बैलेंसिंग समाधान
मूल शीर्षक:小红书、北大开源 UltraEP:面向大规模 MoE 训推的「最优」负载均衡方案
AI सारांश
Xiaohongshu और पेकिंग विश्वविद्यालय ने UltraEP प्रस्तुत किया है, जो सटीक रूटिंग जानकारी पर आधारित रीयल-टाइम लोड बैलेंसिंग को पहली बार उत्पादन प्रणाली में लागू करता है और प्रत्येक microbatch तथा प्रत्येक परत पर हॉटस्पॉट विशेषज्ञों की गतिशील प्रतिलिपि बनाता है। Qwen3-235B जैसे मॉडलों पर प्रशिक्षण थ्रूपुट औसतन आदर्श प्रदर्शन का 94.6% तक पहुंचा, जो Megatron-LM की तुलना में 42% अधिक है; अनुमान prefill थ्रूपुट SGLang की तुलना में 1.56 गुना बढ़ा।
मुख्य जानकारी
- Xiaohongshu और पेकिंग विश्वविद्यालय ने UltraEP प्रस्तुत किया है,जो सटीक रूटिंग जानकारी पर आधारित…
- 6% तक पहुंचा,जो Megatron-LM की तुलना में 42% अधिक है
- अनुमान prefill थ्रूपुट SGLang की तुलना में 1.
- 56 गुना बढ़ा।
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- स्रोत
- 公众号:小红书技术(dots.llm)
- श्रेणी
- उत्पाद और ऐप्स
- AI स्कोर
- 68
MoE 训练推理的负载不均是个老痛点,UltraEP 用实时复制热专家的方式把 GPU 利用率拉到 94% 的理想线,代码和论文都开源了,做大规模分布式训练的团队可以直接参考。
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: Xiaohongshu और पेकिंग विश्वविद्यालय ने UltraEP ओपन-सोर्स किया: बड़े पैमाने पर MoE प्रशिक्षण और अनुमान के लिए रीयल-टाइम लोड बैलेंसिंग समाधान। 20 जुलाई 2026। https://new.nat6.net/hi/news/cmrsy2z9e03wpbitlqgh25fol/