Ant inclusionAI、Ling-3.0シリーズの高効率言語基盤モデルをオープンソース化
原題:inclusionAI/Ling-3.0-flash-base-30T
AI 要約
Ant inclusionAIはLing-3.0シリーズの言語基盤モデルをオープンソース化し、事前トレーニング、中間トレーニング、マージ(WSM)など複数段階のチェックポイントを公開した。同シリーズは高度に疎な(1/64)MoEアーキテクチャを採用し、512個のルーティングエキスパートのうち各トークンで8個のみを活性化する。活性化パラメータはわずか5.1B(Non-emb)、総パラメータは124B。KDAとGated MLAのハイブリッド線形アテンションをネイティブに組み合わせ、長いコンテキストを効率的に処理する。
要点
- Ant inclusionAIはLing-3.
- 0シリーズの言語基盤モデルをオープンソース化し、事前トレーニング、中間トレーニング、マージ(WSM)など複数段階のチェックポイントを公開した。
- 同シリーズは高度に疎な(1/64)MoEアーキテクチャを採用し、512個のルーティングエキスパートのうち各トークンで8個のみを活性化する。
- 活性化パラメータはわずか5.
- 1B(Non-emb)、総パラメータは124B。
概要
- 公開日時
- 更新日時
- カテゴリ
- モデル公開
- AI スコア
- 68
おすすめの理由
把学习率衰减替换为权重合并并发布训练各阶段检查点,使持续预训练与不同衰减策略的离线比较不必逐次重跑,降低实验成本。
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:Ant inclusionAI、Ling-3.0シリーズの高効率言語基盤モデルをオープンソース化。2026年8月11日。https://new.nat6.net/ja/news/cmt0aa8b416yzrodp2cnlw3wj/