蚂蚁 inclusionAI 开源 Ling-3.0 系列高效语言基础模型
原文标题:inclusionAI/Ling-3.0-tiny-base-30T
AI 摘要
蚂蚁 inclusionAI 开源 Ling-3.0 系列高效语言基础模型,并发布预训练、中期训练及合并(WSM)等阶段的检查点,支持继续预训练、微调与研究。Ling-3.0-tiny-base 采用稀疏 MoE 架构,含 128 个路由专家,每 token 仅激活 1.3B 参数,总参数量 7.9B,并原生混合线性注意力以高效处理长上下文。
关键信息
- 蚂蚁 inclusionAI 开源 Ling-3.
- 0 系列高效语言基础模型,并发布预训练、中期训练及合并(WSM)等阶段的检查点,支持继续预训练、微调与研究。
- 0-tiny-base 采用稀疏 MoE 架构,含 128 个路由专家,每 token 仅激活 1.
- 3B 参数,总参数量 7.
- 9B,并原生混合线性注意力以高效处理长上下文
速览
- 发布时间
- 更新时间
- 分类
- 模型发布
- AI 评分
- 63
推荐理由
它把学习率衰减替换为加权检查点合并,基座模型更适合持续预训练和数据扩展,做继续预训练或领域微调时可复用这一训练策略做离线探索。
来源与版权
本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。
如何引用
引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。
橙子新闻:蚂蚁 inclusionAI 开源 Ling-3.0 系列高效语言基础模型。2026年8月11日。https://new.nat6.net/news/cmt0aa8b416yxrodpvq5x791t/