模型发布

EMO:为涌现模块化预训练的专家混合模型

原文标题:EMO: Pretraining mixture of experts for emergent modularity

AI 摘要

EMO是一种新型专家混合模型,通过端到端预训练使模块化结构直接从数据中涌现,无需依赖人类定义的先验。该模型允许在特定任务中仅使用12.5%的专家子集(即8个活跃专家中的部分),同时保持接近全模型的性能;当所有128个专家共同使用时,它仍作为强大的通用模型。EMO具有1B活跃参数和14B总参数,训练数据达1万亿令牌。与标准MoE相比,EMO通过文档级路由约束,鼓励专家形成领域专业化组,从而支持选择性使用而不导致严重性能下降,实现了可组合架构,优化了大型稀疏MoE的内存-准确性权衡。

关键信息

  • EMO是一种新型专家混合模型,通过端到端预训练使模块化结构直接从数据中涌现,无需依赖人类定义的先验。
  • 该模型允许在特定任务中仅使用12.
  • 5%的专家子集(即8个活跃专家中的部分),同时保持接近全模型的性能
  • 当所有128个专家共同使用时,它仍作为强大的通用模型。
  • EMO具有1B活跃参数和14B总参数,训练数据达1万亿令牌。

速览

发布时间
更新时间
来源
Hugging Face 社区博客(混合发现)
分类
模型发布
AI 评分
72
阅读原文 前往信息源阅读完整正文
推荐理由

EMO 让 MoE 专家从按词法分散进化到按语义域自然模块化,仅用 12.5% 专家就能接近全模型性能,对需要按需加载的大模型部署是真正的突破。

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:EMO:为涌现模块化预训练的专家混合模型。2026年5月9日。https://new.nat6.net/news/cmox4xh0p006lslguuhqaou8t/

查看全部 →
  • 万亿参数指令模型Ling-2.6-1T发布

    inclusionAI宣布Ling-2.6-1T现已在OpenRouter上线。🚀 这款万亿参数旗舰指令模型专为现实世界智能体打造。它采用"快速思考"方法,在保持AIME26和SWE-bench Verified基准测试顶尖性能的同时,将…

    X:蚂蚁百灵 (@AntLingAGI)模型发布AI 评分 76

  • Ring-2.6-1T发布:万亿参数思维模型专为复杂任务设计

    Ring-2.6-1T是一款万亿参数的旗舰思维模型,专为现实世界复杂任务和生产环境构建。该模型具备可调节思维努力功能,通过动态计算机制灵活平衡认知深度、token成本和执行速度。它针对代理优化,适用于高频工作流,提供快速多步执行和工具编排…

    X:蚂蚁百灵 (@AntLingAGI)模型发布AI 评分 78

  • Scaling Trusted Access for Cyber with GPT-5.5 and GPT-5.5-Cyber

    OpenAI扩展了网络安全领域的可信访问计划,推出了GPT-5.5和专门针对网络安全的GPT-5.5-Cyber模型。此举旨在帮助经过验证的网络安全防御者加速漏洞研究,并加强对关键基础设施的保护。新模型将为安全专业人员提供更强大的AI工具…

    OpenAI:官网动态(RSS · 排除企业/客户案例)模型发布AI 评分 74

  • Thinking Machines Lab发布Interaction Models研究预览

    Thinking Machines Lab发布interaction models研究预览。该模型从零训练,原生处理音频、视频和文本,采用多流微回合设计实现实时响应,无需外部脚手架。研究预览展示了全新的交互能力,并在智能性与响应性上取得综…

    Thinking Machines Lab:官方博客模型发布AI 评分 59

  • 通过 API 中的新模型推进语音智能

    OpenAI API 推出了新的实时语音模型,能够进行推理、翻译和语音转录。这些模型显著提升了语音交互的自然度与智能水平,支持实时处理与多语言转换。新功能旨在为开发者提供更强大的工具,以构建更流畅、更智能的语音应用体验。

    OpenAI:官网动态(RSS · 排除企业/客户案例)模型发布AI 评分 86

  • SenseNova U1图像生成模型登陆ComfyUI平台

    SenseNova U1图像生成模型现已在ComfyUI上可运行,并获得包括REBEL AI在内的评测者高度认可。REBEL AI发布的实践教程展示了该模型的部署工作流,并对其图像生成能力进行了真实场景测试。模型支持8步快速推理,生成速度…

    X:商汤 SenseTime (@SenseTime_AI)模型发布AI 评分 72