एंट inclusionAI ने ट्रिलियन-पैरामीटर MoE आधार मॉडल Ling-2.6-1T-base ओपन-सोर्स किया
मूल शीर्षक:inclusionAI/Ling-2.6-1T-base
AI सारांश
Ling-2.6-1T-base एंट inclusionAI द्वारा ओपन-सोर्स किया गया ट्रिलियन-पैरामीटर MoE आधार मॉडल है (कुल पैरामीटर लगभग 1T, सक्रिय 63B)। यह Ling-2.0-1T-base से उन्नत है और Lightning Attention तथा MLA के 7:1 मिश्रण वाली लीनियर अटेंशन आर्किटेक्चर अपनाता है; लगभग 9.6T टोकन के स्थानांतरण प्री-ट्रेनिंग, सतत प्री-ट्रेनिंग और मिड-ट्रेनिंग के बाद संदर्भ विंडो 4K से चरणबद्ध रूप से 256K तक बढ़ाई गई। MMLU (86.82), SimpleQA, LongBenchv2 (43.54) आदि बेंचमार्क पर यह पिछली पीढ़ी से आगे है। मॉडल केवल अनुसंधान (सतत प्री-ट्रेनिंग, फ़ाइन-ट्यूनिंग, डिस्टिलेशन आदि) के लिए है और सीधे संवाद क्षमता नहीं देता।
मुख्य जानकारी
- 6-1T-base एंट inclusionAI द्वारा ओपन-सोर्स किया गया ट्रिलियन-पैरामीटर MoE आधार मॉडल है (कुल…
- 0-1T-base से उन्नत है और Lightning Attention तथा MLA के 7:1 मिश्रण वाली लीनियर अटेंशन आर्किटेक्चर…
- 6T टोकन के स्थानांतरण प्री-ट्रेनिंग,सतत प्री-ट्रेनिंग और मिड-ट्रेनिंग के बाद संदर्भ विंडो 4K से…
- 82),SimpleQA,LongBenchv2 (43.
- 54) आदि बेंचमार्क पर यह पिछली पीढ़ी से आगे है। मॉडल केवल अनुसंधान (सतत…
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- श्रेणी
- मॉडल लॉन्च
- AI स्कोर
- 61
Ling-2.6 用混合线性注意力把万亿 MoE 基座模型的上下文能力推到了 256K,对于研究长上下文和 MoE 的团队是个有价值的基座,但它是未对齐的预训练模型,不能直接当对话助手用。
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: एंट inclusionAI ने ट्रिलियन-पैरामीटर MoE आधार मॉडल Ling-2.6-1T-base ओपन-सोर्स किया। 2 जून 2026। https://new.nat6.net/hi/news/cmqg2a9rm02wlslsplna4jnm6/