Xiaohongshu और Peking University ने ओपन-सोर्स किया UltraEP: बड़े पैमाने पर MoE प्रशिक्षण और तर्क के लिए इष्टतम लोड बैलेंसिंग समाधान
AI सारांश
Xiaohongshu और Peking University ने UltraEP को ओपन-सोर्स किया है, जो पहली बार सटीक रूटिंग जानकारी पर आधारित रियल-टाइम लोड बैलेंसिंग को प्रोडक्शन सिस्टम में लाता है। यह प्रत्येक microbatch और परत में हॉटस्पॉट विशेषज्ञों को गतिशील रूप से दोहराता है, औसतन आदर्श प्रदर्शन का 94.3% प्राप्त करता है, जो उद्योग के SOTA प्रशिक्षण-तर्क फ्रेमवर्क की तुलना में 1.49 गुना सुधार है। यह समाधान 288B पैरामीटर MoE मॉडल के पूर्ण प्री-ट्रेनिंग में तैनात किया गया है, जो आदर्श प्रदर्शन के कम से कम 92% के स्तर को बनाए रखता है।
मुख्य जानकारी
- Xiaohongshu और Peking University ने UltraEP को ओपन-सोर्स किया है,जो पहली बार सटीक रूटिंग जानकारी…
- 3% प्राप्त करता है,जो उद्योग के SOTA प्रशिक्षण-तर्क फ्रेमवर्क की तुलना में 1.
- 49 गुना सुधार है। यह समाधान 288B पैरामीटर MoE मॉडल के पूर्ण प्री-ट्रेनिंग में तैनात किया गया है,जो…
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- स्रोत
- 公众号:小红书技术(dots.llm)
- श्रेणी
- उत्पाद और ऐप्स
- AI स्कोर
- 76
动态复制热点专家替代了基于历史窗口的重排,将MoE训推吞吐从理想的一半拉至90%以上,对自研大规模模型的团队而言,是一套可落地的负载均衡方案。
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: Xiaohongshu और Peking University ने ओपन-सोर्स किया UltraEP: बड़े पैमाने पर MoE प्रशिक्षण और तर्क के लिए इष्टतम लोड बैलेंसिंग समाधान। 20 जुलाई 2026। https://new.nat6.net/hi/news/cmsdu108a00uerofzae7t96q3/