EMO:为涌现模块化预训练的专家混合模型
原文标题:EMO: Pretraining mixture of experts for emergent modularity
AI 摘要
EMO是一种新型专家混合模型,通过端到端预训练使模块化结构直接从数据中涌现,无需依赖人类定义的先验。该模型允许在特定任务中仅使用12.5%的专家子集(即8个活跃专家中的部分),同时保持接近全模型的性能;当所有128个专家共同使用时,它仍作为强大的通用模型。EMO具有1B活跃参数和14B总参数,训练数据达1万亿令牌。与标准MoE相比,EMO通过文档级路由约束,鼓励专家形成领域专业化组,从而支持选择性使用而不导致严重性能下降,实现了可组合架构,优化了大型稀疏MoE的内存-准确性权衡。
关键信息
- EMO是一种新型专家混合模型,通过端到端预训练使模块化结构直接从数据中涌现,无需依赖人类定义的先验。
- 该模型允许在特定任务中仅使用12.
- 5%的专家子集(即8个活跃专家中的部分),同时保持接近全模型的性能
- 当所有128个专家共同使用时,它仍作为强大的通用模型。
- EMO具有1B活跃参数和14B总参数,训练数据达1万亿令牌。
速览
- 发布时间
- 更新时间
- 分类
- 模型发布
- AI 评分
- 72
推荐理由
EMO 让 MoE 专家从按词法分散进化到按语义域自然模块化,仅用 12.5% 专家就能接近全模型性能,对需要按需加载的大模型部署是真正的突破。
来源与版权
本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。
如何引用
引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。
橙子新闻:EMO:为涌现模块化预训练的专家混合模型。2026年5月9日。https://new.nat6.net/news/cmox4xh0p006lslguuhqaou8t/