Ant GroupのinclusionAIがLing-3.0シリーズの言語基盤モデルをオープンソース化
原題:inclusionAI/Ling-3.0-tiny-base
AI 要約
Ant GroupのinclusionAIはLing-3.0シリーズの言語基盤モデルをオープンソース化した。tinyとflashの2つのサイズ、および事前トレーニング、中間トレーニング、マージ(WSM)などの段階のチェックポイントを含む。このシリーズはハイブリッド線形アテンションとスパースMoEアーキテクチャを採用し、総パラメータは7.9B、トークンあたり1.3Bのパラメータのみをアクティブ化する(128のルーティングエキスパートのうち8つをアクティブ化)。
要点
- Ant GroupのinclusionAIはLing-3.
- 0シリーズの言語基盤モデルをオープンソース化した。
- tinyとflashの2つのサイズ、および事前トレーニング、中間トレーニング、マージ(WSM)などの段階のチェックポイントを含む。
- このシリーズはハイブリッド線形アテンションとスパースMoEアーキテクチャを採用し、総パラメータは7.
- 9B、トークンあたり1.
概要
- 公開日時
- 更新日時
- カテゴリ
- モデル公開
- AI スコア
- 65
おすすめの理由
用加权检查点合并替代学习率衰减,让基座模型更适合持续预训练,也为验证不同衰减曲线省去重复实验。
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:Ant GroupのinclusionAIがLing-3.0シリーズの言語基盤モデルをオープンソース化。2026年8月11日。https://new.nat6.net/ja/news/cmt0aa8b416ywrodpq8czlstx/