モデル公開

Ant GroupのinclusionAIがLing-3.0シリーズの言語基盤モデルをオープンソース化

原題:inclusionAI/Ling-3.0-tiny-base

AI 要約

Ant GroupのinclusionAIはLing-3.0シリーズの言語基盤モデルをオープンソース化した。tinyとflashの2つのサイズ、および事前トレーニング、中間トレーニング、マージ(WSM)などの段階のチェックポイントを含む。このシリーズはハイブリッド線形アテンションとスパースMoEアーキテクチャを採用し、総パラメータは7.9B、トークンあたり1.3Bのパラメータのみをアクティブ化する(128のルーティングエキスパートのうち8つをアクティブ化)。

要点

  • Ant GroupのinclusionAIはLing-3.
  • 0シリーズの言語基盤モデルをオープンソース化した。
  • tinyとflashの2つのサイズ、および事前トレーニング、中間トレーニング、マージ(WSM)などの段階のチェックポイントを含む。
  • このシリーズはハイブリッド線形アテンションとスパースMoEアーキテクチャを採用し、総パラメータは7.
  • 9B、トークンあたり1.

概要

公開日時
更新日時
出典
蚂蚁 inclusionAI:HuggingFace 新模型
カテゴリ
モデル公開
AI スコア
65
原文を読む 情報源で全文を読む
おすすめの理由

用加权检查点合并替代学习率衰减,让基座模型更适合持续预训练,也为验证不同衰减曲线省去重复实验。

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:Ant GroupのinclusionAIがLing-3.0シリーズの言語基盤モデルをオープンソース化。2026年8月11日。https://new.nat6.net/ja/news/cmt0aa8b416ywrodpq8czlstx/

すべて見る →