Ant inclusionAI、1兆パラメータMoE基盤モデルLing-2.6-1T-baseをオープンソース化
原題:inclusionAI/Ling-2.6-1T-base
AI 要約
Ling-2.6-1T-baseはAnt inclusionAIがオープンソース化した1兆パラメータMoE基盤モデル(総パラメータ約1T、活性63B)だ。Ling-2.0-1T-baseからアップグレードされ、Lightning AttentionとMLAを7:1で混合した線形注意アーキテクチャを採用し、約9.6T tokenの移行事前学習、継続事前学習、中間学習を経て、コンテキストウィンドウを4Kから段階的に256Kへ拡張した。MMLU(86.82)、SimpleQA、LongBenchv2(43.54)などのベンチマークで前世代を上回る。同モデルは研究用途(継続事前学習、微調整、蒸留など)に限られ、対話機能は直接提供しない。
要点
- 6-1T-baseはAnt inclusionAIがオープンソース化した1兆パラメータMoE基盤モデル(総パラメータ約1T、活性63B)だ。
- 0-1T-baseからアップグレードされ、Lightning AttentionとMLAを7:1で混合した線形注意アーキテクチャを採用し、約9.
- 6T tokenの移行事前学習、継続事前学習、中間学習を経て、コンテキストウィンドウを4Kから段階的に256Kへ拡張した。
- MMLU(86.
- 82)、SimpleQA、LongBenchv2(43.
概要
- 公開日時
- 更新日時
- カテゴリ
- モデル公開
- AI スコア
- 61
おすすめの理由
Ling-2.6 用混合线性注意力把万亿 MoE 基座模型的上下文能力推到了 256K,对于研究长上下文和 MoE 的团队是个有价值的基座,但它是未对齐的预训练模型,不能直接当对话助手用。
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:Ant inclusionAI、1兆パラメータMoE基盤モデルLing-2.6-1T-baseをオープンソース化。2026年6月2日。https://new.nat6.net/ja/news/cmqg2a9rm02wlslsplna4jnm6/