Lanzamientos de modelos

EMO: modelo de mezcla de expertos para el preentrenamiento de modularidad emergente

Título original:EMO: Pretraining mixture of experts for emergent modularity

Resumen de IA

EMO es un nuevo modelo de mezcla de expertos que, mediante preentrenamiento de extremo a extremo, hace que la estructura modular emerja directamente de los datos sin depender de prioris definidas por humanos. El modelo permite usar en tareas específicas solo un subconjunto del 12,5 % de los expertos (parte de los 8 expertos activos) manteniendo un rendimiento cercano al del modelo completo; cuando se usan los 128 expertos en conjunto, sigue siendo un potente modelo general. EMO tiene 1B de parámetros activos y 14B de parámetros totales, y se entrenó con 1 billón de tokens. Frente al MoE estándar, EMO aplica restricciones de enrutamiento a nivel de documento que fomentan que los expertos formen grupos especializados por dominio, lo que permite un uso selectivo sin una caída severa del rendimiento y logra una arquitectura componible que optimiza el equilibrio entre memoria y precisión de los grandes MoE dispersos.

Puntos clave

  • EMO es un nuevo modelo de mezcla de expertos que,mediante preentrenamiento de extremo a…
  • El modelo permite usar en tareas específicas solo un subconjunto del 12,5 % de los expertos (parte…
  • cuando se usan los 128 expertos en conjunto,sigue siendo un potente modelo general.
  • EMO tiene 1B de parámetros activos y 14B de parámetros totales,y se entrenó con 1 billón de tokens.
  • Frente al MoE estándar,EMO aplica restricciones de enrutamiento a nivel de documento que fomentan…

Resumen rápido

Publicado
Actualizado
Fuente
Hugging Face 社区博客(混合发现)
Categoría
Lanzamientos de modelos
Puntuación IA
72
Leer el original Leer el artículo completo en la fuente original
Por qué importa

EMO 让 MoE 专家从按词法分散进化到按语义域自然模块化,仅用 12.5% 专家就能接近全模型性能,对需要按需加载的大模型部署是真正的突破。

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: EMO: modelo de mezcla de expertos para el preentrenamiento de modularidad emergente. 9. mayo 2026. https://new.nat6.net/es/news/cmox4xh0p006lslguuhqaou8t/

Ver todo →