モデル公開

Ant inclusionAI、Ling-3.0シリーズの高効率言語基盤モデルをオープンソース化

原題:inclusionAI/Ling-3.0-flash-base-midtrain

AI 要約

Ant inclusionAIはLing-3.0シリーズの言語基盤モデルをオープンソース化した。高度に疎な(1/64)MoEアーキテクチャを採用し、512個のルーティングエキスパートのうち各トークンで8個のみを活性化する。総パラメータは124B、活性化パラメータはわずか5.1B。同シリーズは線形アテンションをネイティブに融合し、従来の学習率減衰の代わりに重み付きチェックポイントマージを採用している。今回のリリースには事前トレーニング、中間トレーニング、マージ(WSM)など複数のトレーニング段階のチェックポイントが含まれ、継続的な事前トレーニングとファインチューニングをサポートする。モデルはMITライセンス。

要点

  • Ant inclusionAIはLing-3.
  • 0シリーズの言語基盤モデルをオープンソース化した。
  • 高度に疎な(1/64)MoEアーキテクチャを採用し、512個のルーティングエキスパートのうち各トークンで8個のみを活性化する。
  • 総パラメータは124B、活性化パラメータはわずか5.
  • 同シリーズは線形アテンションをネイティブに融合し、従来の学習率減衰の代わりに重み付きチェックポイントマージを採用している。

概要

公開日時
更新日時
出典
蚂蚁 inclusionAI:HuggingFace 新模型
カテゴリ
モデル公開
AI スコア
64
原文を読む 情報源で全文を読む
おすすめの理由

把训练中间态作为可下载 checkpoint 开放,配合 WSM 合并替代学习率衰减,做继续预训练或 MoE 研究时可从中间阶段开始,省去重复前置训练成本。

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:Ant inclusionAI、Ling-3.0シリーズの高効率言語基盤モデルをオープンソース化。2026年8月11日。https://new.nat6.net/ja/news/cmt0aa8b416z0rodptcwaftq0/

すべて見る →