उत्पाद और ऐप्स

Xiaohongshu और पेकिंग विश्वविद्यालय ने UltraEP ओपन-सोर्स किया: बड़े पैमाने पर MoE प्रशिक्षण और अनुमान के लिए रीयल-टाइम लोड बैलेंसिंग समाधान

मूल शीर्षक:小红书、北大开源 UltraEP:面向大规模 MoE 训推的「最优」负载均衡方案

AI सारांश

Xiaohongshu और पेकिंग विश्वविद्यालय ने UltraEP प्रस्तुत किया है, जो सटीक रूटिंग जानकारी पर आधारित रीयल-टाइम लोड बैलेंसिंग को पहली बार उत्पादन प्रणाली में लागू करता है और प्रत्येक microbatch तथा प्रत्येक परत पर हॉटस्पॉट विशेषज्ञों की गतिशील प्रतिलिपि बनाता है। Qwen3-235B जैसे मॉडलों पर प्रशिक्षण थ्रूपुट औसतन आदर्श प्रदर्शन का 94.6% तक पहुंचा, जो Megatron-LM की तुलना में 42% अधिक है; अनुमान prefill थ्रूपुट SGLang की तुलना में 1.56 गुना बढ़ा।

मुख्य जानकारी

  • Xiaohongshu और पेकिंग विश्वविद्यालय ने UltraEP प्रस्तुत किया है,जो सटीक रूटिंग जानकारी पर आधारित…
  • 6% तक पहुंचा,जो Megatron-LM की तुलना में 42% अधिक है
  • अनुमान prefill थ्रूपुट SGLang की तुलना में 1.
  • 56 गुना बढ़ा।

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
公众号:小红书技术(dots.llm)
श्रेणी
उत्पाद और ऐप्स
AI स्कोर
68
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

MoE 训练推理的负载不均是个老痛点,UltraEP 用实时复制热专家的方式把 GPU 利用率拉到 94% 的理想线,代码和论文都开源了,做大规模分布式训练的团队可以直接参考。

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: Xiaohongshu और पेकिंग विश्वविद्यालय ने UltraEP ओपन-सोर्स किया: बड़े पैमाने पर MoE प्रशिक्षण और अनुमान के लिए रीयल-टाइम लोड बैलेंसिंग समाधान। 20 जुलाई 2026। https://new.nat6.net/hi/news/cmrsy2z9e03wpbitlqgh25fol/

सभी देखें →