Ant inclusionAI ने Ling-3.0 श्रृंखला के कुशल भाषा आधार मॉडल ओपन-सोर्स किए
मूल शीर्षक:inclusionAI/Ling-3.0-tiny-base-30T
AI सारांश
Ant inclusionAI ने Ling-3.0 श्रृंखला के कुशल भाषा आधार मॉडल ओपन-सोर्स किए हैं और प्री-ट्रेनिंग, मिड-ट्रेनिंग तथा मर्ज (WSM) चरणों के चेकपॉइंट जारी किए हैं, जो निरंतर प्री-ट्रेनिंग, फाइन-ट्यूनिंग और अनुसंधान का समर्थन करते हैं। Ling-3.0-tiny-base स्पार्स MoE आर्किटेक्चर अपनाता है, जिसमें 128 राउटेड एक्सपर्ट्स हैं, प्रति token केवल 1.3B पैरामीटर सक्रिय होते हैं, कुल पैरामीटर 7.9B हैं, और लंबे संदर्भ को कुशलता से संभालने के लिए मूल रूप से हाइब्रिड लीनियर अटेंशन शामिल है।
मुख्य जानकारी
- Ant inclusionAI ने Ling-3.
- 0 श्रृंखला के कुशल भाषा आधार मॉडल ओपन-सोर्स किए हैं और प्री-ट्रेनिंग,मिड-ट्रेनिंग तथा मर्ज (WSM)…
- 0-tiny-base स्पार्स MoE आर्किटेक्चर अपनाता है,जिसमें 128 राउटेड एक्सपर्ट्स हैं,प्रति token केवल 1.
- 3B पैरामीटर सक्रिय होते हैं,कुल पैरामीटर 7.
- 9B हैं,और लंबे संदर्भ को कुशलता से संभालने के लिए मूल रूप से हाइब्रिड लीनियर अटेंशन शामिल है।
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- श्रेणी
- मॉडल लॉन्च
- AI स्कोर
- 63
它把学习率衰减替换为加权检查点合并,基座模型更适合持续预训练和数据扩展,做继续预训练或领域微调时可复用这一训练策略做离线探索。
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: Ant inclusionAI ने Ling-3.0 श्रृंखला के कुशल भाषा आधार मॉडल ओपन-सोर्स किए। 11 अगस्त 2026। https://new.nat6.net/hi/news/cmt0aa8b416yxrodpvq5x791t/