मॉडल लॉन्च

Ant inclusionAI ने Ling-3.0 श्रृंखला के कुशल भाषा बेस मॉडल ओपन-सोर्स किए

मूल शीर्षक:inclusionAI/Ling-3.0-flash-base-midtrain

AI सारांश

Ant inclusionAI ने Ling-3.0 श्रृंखला के भाषा बेस मॉडल ओपन-सोर्स किए हैं, जो अत्यधिक स्पार्स (1/64) MoE आर्किटेक्चर अपनाते हैं, 512 राउटेड एक्सपर्ट्स में से प्रति token केवल 8 सक्रिय होते हैं, कुल पैरामीटर 124B और सक्रिय पैरामीटर केवल 5.1B हैं। यह श्रृंखला मूल रूप से लीनियर अटेंशन को एकीकृत करती है और पारंपरिक लर्निंग रेट डिके के स्थान पर भारित चेकपॉइंट मर्ज का उपयोग करती है। इस रिलीज़ में प्री-ट्रेनिंग, मिड-ट्रेनिंग और मर्ज (WSM) सहित कई प्रशिक्षण चरणों के चेकपॉइंट शामिल हैं, जो निरंतर प्री-ट्रेनिंग और फाइन-ट्यूनिंग का समर्थन करते हैं, तथा मॉडल MIT लाइसेंस के अंतर्गत हैं।

मुख्य जानकारी

  • Ant inclusionAI ने Ling-3.
  • 0 श्रृंखला के भाषा बेस मॉडल ओपन-सोर्स किए हैं,जो अत्यधिक स्पार्स (1/64) MoE आर्किटेक्चर अपनाते…
  • 1B हैं। यह श्रृंखला मूल रूप से लीनियर अटेंशन को एकीकृत करती है और पारंपरिक लर्निंग रेट डिके के…

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
蚂蚁 inclusionAI:HuggingFace 新模型
श्रेणी
मॉडल लॉन्च
AI स्कोर
64
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

把训练中间态作为可下载 checkpoint 开放,配合 WSM 合并替代学习率衰减,做继续预训练或 MoE 研究时可从中间阶段开始,省去重复前置训练成本。

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: Ant inclusionAI ने Ling-3.0 श्रृंखला के कुशल भाषा बेस मॉडल ओपन-सोर्स किए। 11 अगस्त 2026। https://new.nat6.net/hi/news/cmt0aa8b416z0rodptcwaftq0/

सभी देखें →