Ant GroupのinclusionAIがLing-3.0シリーズの高効率言語基盤モデルをオープンソース化
原題:inclusionAI/Ling-3.0-tiny-base-30T
AI 要約
Ant GroupのinclusionAIはLing-3.0シリーズの高効率言語基盤モデルをオープンソース化し、事前トレーニング、中間トレーニング、マージ(WSM)などの段階のチェックポイントを公開した。継続的な事前トレーニング、ファインチューニング、研究をサポートする。Ling-3.0-tiny-baseはスパースMoEアーキテクチャを採用し、128のルーティングエキスパートを含み、トークンあたり1.3Bのパラメータのみをアクティブ化し、総パラメータ数は7.9Bで、ネイティブに線形アテンションをハイブリッドして長いコンテキストを効率的に処理する。
要点
- Ant GroupのinclusionAIはLing-3.
- 0シリーズの高効率言語基盤モデルをオープンソース化し、事前トレーニング、中間トレーニング、マージ(WSM)などの段階のチェックポイントを公開した。
- 継続的な事前トレーニング、ファインチューニング、研究をサポートする。
- 0-tiny-baseはスパースMoEアーキテクチャを採用し、128のルーティングエキスパートを含み、トークンあたり1.
- 3Bのパラメータのみをアクティブ化し、総パラメータ数は7.
概要
- 公開日時
- 更新日時
- カテゴリ
- モデル公開
- AI スコア
- 63
おすすめの理由
它把学习率衰减替换为加权检查点合并,基座模型更适合持续预训练和数据扩展,做继续预训练或领域微调时可复用这一训练策略做离线探索。
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:Ant GroupのinclusionAIがLing-3.0シリーズの高効率言語基盤モデルをオープンソース化。2026年8月11日。https://new.nat6.net/ja/news/cmt0aa8b416yxrodpvq5x791t/