モデル公開

Ant inclusionAI、1兆パラメータMoE基盤モデルLing-2.6-1T-baseをオープンソース化

原題:inclusionAI/Ling-2.6-1T-base

AI 要約

Ling-2.6-1T-baseはAnt inclusionAIがオープンソース化した1兆パラメータMoE基盤モデル(総パラメータ約1T、活性63B)だ。Ling-2.0-1T-baseからアップグレードされ、Lightning AttentionとMLAを7:1で混合した線形注意アーキテクチャを採用し、約9.6T tokenの移行事前学習、継続事前学習、中間学習を経て、コンテキストウィンドウを4Kから段階的に256Kへ拡張した。MMLU(86.82)、SimpleQA、LongBenchv2(43.54)などのベンチマークで前世代を上回る。同モデルは研究用途(継続事前学習、微調整、蒸留など)に限られ、対話機能は直接提供しない。

要点

  • 6-1T-baseはAnt inclusionAIがオープンソース化した1兆パラメータMoE基盤モデル(総パラメータ約1T、活性63B)だ。
  • 0-1T-baseからアップグレードされ、Lightning AttentionとMLAを7:1で混合した線形注意アーキテクチャを採用し、約9.
  • 6T tokenの移行事前学習、継続事前学習、中間学習を経て、コンテキストウィンドウを4Kから段階的に256Kへ拡張した。
  • MMLU(86.
  • 82)、SimpleQA、LongBenchv2(43.

概要

公開日時
更新日時
出典
蚂蚁 inclusionAI:HuggingFace 新模型
カテゴリ
モデル公開
AI スコア
61
原文を読む 情報源で全文を読む
おすすめの理由

Ling-2.6 用混合线性注意力把万亿 MoE 基座模型的上下文能力推到了 256K,对于研究长上下文和 MoE 的团队是个有价值的基座,但它是未对齐的预训练模型,不能直接当对话助手用。

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:Ant inclusionAI、1兆パラメータMoE基盤モデルLing-2.6-1T-baseをオープンソース化。2026年6月2日。https://new.nat6.net/ja/news/cmqg2a9rm02wlslsplna4jnm6/

すべて見る →