EMO: उद्भवशील मॉड्यूलर प्री-ट्रेनिंग के लिए मिश्रण-की-विशेषज्ञ मॉडल
मूल शीर्षक:EMO: Pretraining mixture of experts for emergent modularity
AI सारांश
EMO एक नया मिश्रण-की-विशेषज्ञ मॉडल है जो एंड-टू-एंड प्री-ट्रेनिंग के माध्यम से मॉड्यूलर संरचना को सीधे डेटा से उभरने देता है, बिना मानव-परिभाषित प्राथमिकताओं पर निर्भरता के। यह मॉडल विशिष्ट कार्यों में केवल 12.5% विशेषज्ञ उपसमुच्चय (यानी 8 सक्रिय विशेषज्ञों में से कुछ) का उपयोग करने की अनुमति देता है, साथ ही पूर्ण मॉडल के करीब प्रदर्शन बनाए रखता है; जब सभी 128 विशेषज्ञ एक साथ उपयोग किए जाते हैं, तो यह एक शक्तिशाली सामान्य मॉडल के रूप में कार्य करता है। EMO में 1B सक्रिय पैरामीटर और 14B कुल पैरामीटर हैं, तथा प्रशिक्षण डेटा 1 ट्रिलियन टोकन तक पहुंचता है। मानक MoE की तुलना में, EMO दस्तावेज़-स्तरीय रूटिंग बाधाओं के माध्यम से विशेषज्ञों को क्षेत्र-विशेषज्ञता समूह बनाने के लिए प्रोत्साहित करता है, जिससे गंभीर प्रदर्शन गिरावट के बिना चयनात्मक उपयोग संभव होता है और एक संयोज्य आर्किटेक्चर प्राप्त होता है जो बड़े विरल MoE के स्मृति-सटीकता व्यापार-समझौते को अनुकूलित करता है।
मुख्य जानकारी
- EMO एक नया मिश्रण-की-विशेषज्ञ मॉडल है जो एंड-टू-एंड प्री-ट्रेनिंग के माध्यम से मॉड्यूलर संरचना को…
- 5% विशेषज्ञ उपसमुच्चय (यानी 8 सक्रिय विशेषज्ञों में से कुछ) का उपयोग करने की अनुमति देता है,साथ ही…
- जब सभी 128 विशेषज्ञ एक साथ उपयोग किए जाते हैं,तो यह एक शक्तिशाली सामान्य मॉडल के रूप में कार्य…
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- स्रोत
- Hugging Face 社区博客(混合发现)
- श्रेणी
- मॉडल लॉन्च
- AI स्कोर
- 72
EMO 让 MoE 专家从按词法分散进化到按语义域自然模块化,仅用 12.5% 专家就能接近全模型性能,对需要按需加载的大模型部署是真正的突破。
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: EMO: उद्भवशील मॉड्यूलर प्री-ट्रेनिंग के लिए मिश्रण-की-विशेषज्ञ मॉडल। 9 मई 2026। https://new.nat6.net/hi/news/cmox4xh0p006lslguuhqaou8t/