Microsoft AI 公布 MAI-Base-2 预训练细节,2.8T 参数 MoE 模型 FLOPs 效率达 DeepSeek-V4-Pro-Base 的 4.2 至 12.3 倍
原文标题:Frontier Pre-training at Microsoft AI
AI 摘要
Microsoft AI 宣布完成 MAI-Base-2 预训练,这是一个 800 亿激活、2.8T 总参数的 MoE 基础模型,在 held-out 评测中 BPB 低于所测全部开源权重模型,预训练 FLOPs 效率比 DeepSeek-V4-Pro-Base 高 4.2 至 12.3 倍。
关键信息
- Microsoft AI 宣布完成 MAI-Base-2 预训练,这是一个 800 亿激活、2.
- 8T 总参数的 MoE 基础模型,在 held-out 评测中 BPB 低于所测全部开源权重模型,预训练 FLOPs 效率比 DeepSeek-V4-Pro-Base 高 4.
- 官方披露了 MAI-Base-2 的完整预训练方法,读者可以从中了解 scaling ladder、Muon 优化和多轮 dropless MoE 等可借鉴的工程细节
速览
- 发布时间
- 更新时间
- 分类
- 模型发布
- AI 评分
- 66
推荐理由
官方披露了 MAI-Base-2 的完整预训练方法,读者可以从中了解 scaling ladder、Muon 优化和多轮 dropless MoE 等可借鉴的工程细节。
相关主题
相关实体
来源与版权
本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。
如何引用
引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。
橙子新闻:Microsoft AI 公布 MAI-Base-2 预训练细节,2.8T 参数 MoE 模型 FLOPs 效率达 DeepSeek-V4-Pro-Base 的 4.2 至 12.3 倍。2026年10月16日。https://new.nat6.net/news/f7ey01hbckuivmlgen9jq0vaf/