EMO: modelo de mezcla de expertos para el preentrenamiento de modularidad emergente
Título original:EMO: Pretraining mixture of experts for emergent modularity
Resumen de IA
EMO es un nuevo modelo de mezcla de expertos que, mediante preentrenamiento de extremo a extremo, hace que la estructura modular emerja directamente de los datos sin depender de prioris definidas por humanos. El modelo permite usar en tareas específicas solo un subconjunto del 12,5 % de los expertos (parte de los 8 expertos activos) manteniendo un rendimiento cercano al del modelo completo; cuando se usan los 128 expertos en conjunto, sigue siendo un potente modelo general. EMO tiene 1B de parámetros activos y 14B de parámetros totales, y se entrenó con 1 billón de tokens. Frente al MoE estándar, EMO aplica restricciones de enrutamiento a nivel de documento que fomentan que los expertos formen grupos especializados por dominio, lo que permite un uso selectivo sin una caída severa del rendimiento y logra una arquitectura componible que optimiza el equilibrio entre memoria y precisión de los grandes MoE dispersos.
Puntos clave
- EMO es un nuevo modelo de mezcla de expertos que,mediante preentrenamiento de extremo a…
- El modelo permite usar en tareas específicas solo un subconjunto del 12,5 % de los expertos (parte…
- cuando se usan los 128 expertos en conjunto,sigue siendo un potente modelo general.
- EMO tiene 1B de parámetros activos y 14B de parámetros totales,y se entrenó con 1 billón de tokens.
- Frente al MoE estándar,EMO aplica restricciones de enrutamiento a nivel de documento que fomentan…
Resumen rápido
- Publicado
- Actualizado
- Fuente
- Hugging Face 社区博客(混合发现)
- Categoría
- Lanzamientos de modelos
- Puntuación IA
- 72
EMO 让 MoE 专家从按词法分散进化到按语义域自然模块化,仅用 12.5% 专家就能接近全模型性能,对需要按需加载的大模型部署是真正的突破。
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: EMO: modelo de mezcla de expertos para el preentrenamiento de modularidad emergente. 9. mayo 2026. https://new.nat6.net/es/news/cmox4xh0p006lslguuhqaou8t/