模型发布

蚂蚁 inclusionAI 开源 Ling-3.0 系列高效语言基座模型

原文标题:inclusionAI/Ling-3.0-flash-base

AI 摘要

蚂蚁 inclusionAI 开源 Ling-3.0 系列语言基座模型,采用高度稀疏(1/64)MoE 架构,含 512 个路由专家,每个 token 仅激活 8 个路由专家和 1 个共享专家,激活参数仅 5.1B(Non-emb)。

关键信息

  • 蚂蚁 inclusionAI 开源 Ling-3.
  • 0 系列语言基座模型,采用高度稀疏(1/64)MoE 架构,含 512 个路由专家,每个 token 仅激活 8 个路由专家和 1 个共享专家,激活参数仅 5.
  • 1B(Non-emb)
  • WSM 合并替代学习率衰减,让持续预训练和动态数据扩展不必为每种衰减策略重跑训练,降低实验成本

速览

发布时间
更新时间
来源
蚂蚁 inclusionAI:HuggingFace 新模型
分类
模型发布
AI 评分
64
阅读原文 前往信息源阅读完整正文
推荐理由

WSM 合并替代学习率衰减,让持续预训练和动态数据扩展不必为每种衰减策略重跑训练,降低实验成本。

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:蚂蚁 inclusionAI 开源 Ling-3.0 系列高效语言基座模型。2026年8月11日。https://new.nat6.net/news/cmt0aa8b416yyrodpws2xobnz/

查看全部 →
  • 蚂蚁 inclusionAI 开源 Ling-3.0 系列高效语言基础模型

    蚂蚁 inclusionAI 开源 Ling-3.0 系列语言基础模型,并发布预训练、中期训练及合并(WSM)等多个阶段检查点。该系列采用高度稀疏(1/64)MoE 架构,512 个路由专家中每 token 仅激活 8 个,激活参数仅 5…

    蚂蚁 inclusionAI:HuggingFace 新模型模型发布AI 评分 68

  • 蚂蚁 inclusionAI 开源 Ling-3.0 系列高效语言基础模型

    蚂蚁 inclusionAI 开源 Ling-3.0 系列高效语言基础模型,并发布预训练、中期训练及合并(WSM)等阶段的检查点,支持继续预训练、微调与研究。Ling-3.0-tiny-base 采用稀疏 MoE 架构,含 128 个路由…

    蚂蚁 inclusionAI:HuggingFace 新模型模型发布AI 评分 63

  • 蚂蚁 inclusionAI 开源 Ling-3.0 系列高效语言基座模型

    蚂蚁 inclusionAI 开源 Ling-3.0 系列语言基座模型,采用高度稀疏(1/64)MoE 架构,512 个路由专家中每 token 仅激活 8 个,总参数量 124B,激活参数仅 5.1B。该系列原生融合线性注意力,并以加权…

    蚂蚁 inclusionAI:HuggingFace 新模型模型发布AI 评分 64

  • 蚂蚁 inclusionAI 开源 Ling-3.0 系列语言基础模型

    蚂蚁 inclusionAI 开源 Ling-3.0 系列语言基础模型,含 tiny 与 flash 两个尺寸及预训练、中期训练、合并(WSM)等阶段检查点。该系列采用混合线性注意力与稀疏 MoE 架构,总参数 7.9B,每 token…

    蚂蚁 inclusionAI:HuggingFace 新模型模型发布AI 评分 65