उत्पाद और ऐप्स

Xiaohongshu और Peking University ने ओपन-सोर्स किया UltraEP: बड़े पैमाने पर MoE प्रशिक्षण और तर्क के लिए इष्टतम लोड बैलेंसिंग समाधान

AI सारांश

Xiaohongshu और Peking University ने UltraEP को ओपन-सोर्स किया है, जो पहली बार सटीक रूटिंग जानकारी पर आधारित रियल-टाइम लोड बैलेंसिंग को प्रोडक्शन सिस्टम में लाता है। यह प्रत्येक microbatch और परत में हॉटस्पॉट विशेषज्ञों को गतिशील रूप से दोहराता है, औसतन आदर्श प्रदर्शन का 94.3% प्राप्त करता है, जो उद्योग के SOTA प्रशिक्षण-तर्क फ्रेमवर्क की तुलना में 1.49 गुना सुधार है। यह समाधान 288B पैरामीटर MoE मॉडल के पूर्ण प्री-ट्रेनिंग में तैनात किया गया है, जो आदर्श प्रदर्शन के कम से कम 92% के स्तर को बनाए रखता है।

मुख्य जानकारी

  • Xiaohongshu और Peking University ने UltraEP को ओपन-सोर्स किया है,जो पहली बार सटीक रूटिंग जानकारी…
  • 3% प्राप्त करता है,जो उद्योग के SOTA प्रशिक्षण-तर्क फ्रेमवर्क की तुलना में 1.
  • 49 गुना सुधार है। यह समाधान 288B पैरामीटर MoE मॉडल के पूर्ण प्री-ट्रेनिंग में तैनात किया गया है,जो…

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
公众号:小红书技术(dots.llm)
श्रेणी
उत्पाद और ऐप्स
AI स्कोर
76
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

动态复制热点专家替代了基于历史窗口的重排,将MoE训推吞吐从理想的一半拉至90%以上,对自研大规模模型的团队而言,是一套可落地的负载均衡方案。

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: Xiaohongshu और Peking University ने ओपन-सोर्स किया UltraEP: बड़े पैमाने पर MoE प्रशिक्षण और तर्क के लिए इष्टतम लोड बैलेंसिंग समाधान। 20 जुलाई 2026। https://new.nat6.net/hi/news/cmsdu108a00uerofzae7t96q3/

सभी देखें →