Ant inclusionAI ने Ling-3.0 श्रृंखला के कुशल भाषा आधार मॉडल ओपन-सोर्स किए
मूल शीर्षक:inclusionAI/Ling-3.0-flash-base-30T
AI सारांश
Ant inclusionAI ने Ling-3.0 श्रृंखला के भाषा आधार मॉडल ओपन-सोर्स किए हैं और प्री-ट्रेनिंग, मिड-ट्रेनिंग तथा मर्ज (WSM) सहित कई चरणों के चेकपॉइंट जारी किए हैं। यह श्रृंखला अत्यधिक स्पार्स (1/64) MoE आर्किटेक्चर अपनाती है, 512 राउटेड एक्सपर्ट्स में से प्रति token केवल 8 सक्रिय होते हैं, सक्रिय पैरामीटर केवल 5.1B (Non-emb) और कुल पैरामीटर 124B हैं, तथा लंबे संदर्भ को कुशलता से संभालने के लिए मूल रूप से KDA और Gated MLA हाइब्रिड लीनियर अटेंशन को संयोजित करती है।
मुख्य जानकारी
- Ant inclusionAI ने Ling-3.
- 0 श्रृंखला के भाषा आधार मॉडल ओपन-सोर्स किए हैं और प्री-ट्रेनिंग,मिड-ट्रेनिंग तथा मर्ज (WSM) सहित…
- 1B (Non-emb) और कुल पैरामीटर 124B हैं,तथा लंबे संदर्भ को कुशलता से संभालने के लिए मूल रूप से KDA…
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- श्रेणी
- मॉडल लॉन्च
- AI स्कोर
- 68
把学习率衰减替换为权重合并并发布训练各阶段检查点,使持续预训练与不同衰减策略的离线比较不必逐次重跑,降低实验成本。
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: Ant inclusionAI ने Ling-3.0 श्रृंखला के कुशल भाषा आधार मॉडल ओपन-सोर्स किए। 11 अगस्त 2026। https://new.nat6.net/hi/news/cmt0aa8b416yzrodp2cnlw3wj/