EMO : un modèle de mélange d'experts pour un pré-entraînement à modularité émergente
Titre original:EMO: Pretraining mixture of experts for emergent modularity
Résumé IA
EMO est un nouveau modèle de mélange d'experts qui, par pré-entraînement de bout en bout, fait émerger directement la structure modulaire des données, sans dépendre de priors définis par l'homme. Le modèle permet de n'utiliser qu'un sous-ensemble de 12,5 % des experts (soit une partie des 8 experts actifs) sur des tâches spécifiques, tout en conservant des performances proches du modèle complet ; lorsque les 128 experts sont utilisés ensemble, il reste un puissant modèle généraliste. EMO compte 1 milliard de paramètres actifs et 14 milliards de paramètres totaux, avec 1 000 milliards de tokens d'entraînement. Comparé au MoE standard, EMO utilise un routage au niveau du document pour encourager les experts à former des groupes spécialisés par domaine, permettant une utilisation sélective sans dégradation sévère des performances, et réalise une architecture composable qui optimise le compromis mémoire-précision des grands MoE épars.
Points clés
- EMO est un nouveau modèle de mélange d'experts qui,par pré-entraînement de bout en bout,fait…
- Le modèle permet de n'utiliser qu'un sous-ensemble de 12,5 % des experts (soit une partie des 8…
- lorsque les 128 experts sont utilisés ensemble,il reste un puissant modèle généraliste.
- EMO compte 1 milliard de paramètres actifs et 14 milliards de paramètres totaux,avec 1 000…
- Comparé au MoE standard,EMO utilise un routage au niveau du document pour encourager les experts à…
En bref
- Publié
- Mis à jour
- Source
- Hugging Face 社区博客(混合发现)
- Catégorie
- Sorties de modèles
- Score IA
- 72
EMO 让 MoE 专家从按词法分散进化到按语义域自然模块化,仅用 12.5% 专家就能接近全模型性能,对需要按需加载的大模型部署是真正的突破。
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : EMO : un modèle de mélange d'experts pour un pré-entraînement à modularité émergente. 9. mai 2026. https://new.nat6.net/fr/news/cmox4xh0p006lslguuhqaou8t/