蚂蚁 inclusionAI 开源 Ling-3.0 系列高效语言基座模型
原文标题:inclusionAI/Ling-3.0-flash-base-midtrain
AI 摘要
蚂蚁 inclusionAI 开源 Ling-3.0 系列语言基座模型,采用高度稀疏(1/64)MoE 架构,512 个路由专家中每 token 仅激活 8 个,总参数量 124B,激活参数仅 5.1B。该系列原生融合线性注意力,并以加权检查点合并替代传统学习率衰减。此次发布包含预训练、中期训练及合并(WSM)等多个训练阶段的检查点,支持继续预训练与微调,模型采用 MIT 许可证。
关键信息
- 蚂蚁 inclusionAI 开源 Ling-3.
- 0 系列语言基座模型,采用高度稀疏(1/64)MoE 架构,512 个路由专家中每 token 仅激活 8 个,总参数量 124B,激活参数仅 5.
- 该系列原生融合线性注意力,并以加权检查点合并替代传统学习率衰减。
- 此次发布包含预训练、中期训练及合并(WSM)等多个训练阶段的检查点,支持继续预训练与微调,模型采用 MIT 许可证
- 把训练中间态作为可下载 checkpoint 开放,配合 WSM 合并替代学习率衰减,做继续预训练或 MoE 研究时可从中间阶段开始,省去重复前置训练成本
速览
- 发布时间
- 更新时间
- 分类
- 模型发布
- AI 评分
- 64
推荐理由
把训练中间态作为可下载 checkpoint 开放,配合 WSM 合并替代学习率衰减,做继续预训练或 MoE 研究时可从中间阶段开始,省去重复前置训练成本。
来源与版权
本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。
如何引用
引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。
橙子新闻:蚂蚁 inclusionAI 开源 Ling-3.0 系列高效语言基座模型。2026年8月11日。https://new.nat6.net/news/cmt0aa8b416z0rodptcwaftq0/