Sorties de modèles

EMO : un modèle de mélange d'experts pour un pré-entraînement à modularité émergente

Titre original:EMO: Pretraining mixture of experts for emergent modularity

Résumé IA

EMO est un nouveau modèle de mélange d'experts qui, par pré-entraînement de bout en bout, fait émerger directement la structure modulaire des données, sans dépendre de priors définis par l'homme. Le modèle permet de n'utiliser qu'un sous-ensemble de 12,5 % des experts (soit une partie des 8 experts actifs) sur des tâches spécifiques, tout en conservant des performances proches du modèle complet ; lorsque les 128 experts sont utilisés ensemble, il reste un puissant modèle généraliste. EMO compte 1 milliard de paramètres actifs et 14 milliards de paramètres totaux, avec 1 000 milliards de tokens d'entraînement. Comparé au MoE standard, EMO utilise un routage au niveau du document pour encourager les experts à former des groupes spécialisés par domaine, permettant une utilisation sélective sans dégradation sévère des performances, et réalise une architecture composable qui optimise le compromis mémoire-précision des grands MoE épars.

Points clés

  • EMO est un nouveau modèle de mélange d'experts qui,par pré-entraînement de bout en bout,fait…
  • Le modèle permet de n'utiliser qu'un sous-ensemble de 12,5 % des experts (soit une partie des 8…
  • lorsque les 128 experts sont utilisés ensemble,il reste un puissant modèle généraliste.
  • EMO compte 1 milliard de paramètres actifs et 14 milliards de paramètres totaux,avec 1 000…
  • Comparé au MoE standard,EMO utilise un routage au niveau du document pour encourager les experts à…

En bref

Publié
Mis à jour
Source
Hugging Face 社区博客(混合发现)
Catégorie
Sorties de modèles
Score IA
72
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

EMO 让 MoE 专家从按词法分散进化到按语义域自然模块化,仅用 12.5% 专家就能接近全模型性能,对需要按需加载的大模型部署是真正的突破。

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : EMO : un modèle de mélange d'experts pour un pré-entraînement à modularité émergente. 9. mai 2026. https://new.nat6.net/fr/news/cmox4xh0p006lslguuhqaou8t/

Tout voir →