Ant inclusionAI、Ling-3.0シリーズの高効率言語基盤モデルをオープンソース化
原題:inclusionAI/Ling-3.0-flash-base-midtrain
AI 要約
Ant inclusionAIはLing-3.0シリーズの言語基盤モデルをオープンソース化した。高度に疎な(1/64)MoEアーキテクチャを採用し、512個のルーティングエキスパートのうち各トークンで8個のみを活性化する。総パラメータは124B、活性化パラメータはわずか5.1B。同シリーズは線形アテンションをネイティブに融合し、従来の学習率減衰の代わりに重み付きチェックポイントマージを採用している。今回のリリースには事前トレーニング、中間トレーニング、マージ(WSM)など複数のトレーニング段階のチェックポイントが含まれ、継続的な事前トレーニングとファインチューニングをサポートする。モデルはMITライセンス。
要点
- Ant inclusionAIはLing-3.
- 0シリーズの言語基盤モデルをオープンソース化した。
- 高度に疎な(1/64)MoEアーキテクチャを採用し、512個のルーティングエキスパートのうち各トークンで8個のみを活性化する。
- 総パラメータは124B、活性化パラメータはわずか5.
- 同シリーズは線形アテンションをネイティブに融合し、従来の学習率減衰の代わりに重み付きチェックポイントマージを採用している。
概要
- 公開日時
- 更新日時
- カテゴリ
- モデル公開
- AI スコア
- 64
おすすめの理由
把训练中间态作为可下载 checkpoint 开放,配合 WSM 合并替代学习率衰减,做继续预训练或 MoE 研究时可从中间阶段开始,省去重复前置训练成本。
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:Ant inclusionAI、Ling-3.0シリーズの高効率言語基盤モデルをオープンソース化。2026年8月11日。https://new.nat6.net/ja/news/cmt0aa8b416z0rodptcwaftq0/