模型发布

蚂蚁 inclusionAI 开源万亿参数 MoE 基座模型 Ling-2.6-1T-base

原文标题:inclusionAI/Ling-2.6-1T-base

AI 摘要

Ling-2.6-1T-base 是蚂蚁 inclusionAI 开源的万亿参数 MoE 基座模型(总参约 1T,激活 63B)。它由 Ling-2.0-1T-base 升级而来,采用 Lightning Attention 与 MLA 以 7:1 混合的线性注意力架构,经约 9.6T token 的迁移预训练、持续预训练和中训练,上下文窗口从 4K 分阶段扩展至 256K。在 MMLU(86.82)、SimpleQA、LongBenchv2(43.54)等基准上超越前代。该模型仅供研究(继续预训练、微调、蒸馏等),不直接提供对话功能。

关键信息

  • 6-1T-base 是蚂蚁 inclusionAI 开源的万亿参数 MoE 基座模型(总参约 1T,激活 63B)。
  • 它由 Ling-2.
  • 0-1T-base 升级而来,采用 Lightning Attention 与 MLA 以 7:1 混合的线性注意力架构,经约 9.
  • 6T token 的迁移预训练、持续预训练和中训练,上下文窗口从 4K 分阶段扩展至 256K。
  • 在 MMLU(86.

速览

发布时间
更新时间
来源
蚂蚁 inclusionAI:HuggingFace 新模型
分类
模型发布
AI 评分
61
阅读原文 前往信息源阅读完整正文
推荐理由

Ling-2.6 用混合线性注意力把万亿 MoE 基座模型的上下文能力推到了 256K,对于研究长上下文和 MoE 的团队是个有价值的基座,但它是未对齐的预训练模型,不能直接当对话助手用。

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:蚂蚁 inclusionAI 开源万亿参数 MoE 基座模型 Ling-2.6-1T-base。2026年6月2日。https://new.nat6.net/news/cmqg2a9rm02wlslsplna4jnm6/

查看全部 →