NVIDIA NeMo AutoModel : une ligne de code pour accélérer le micro-ajustement des modèles Transformer MoE
Titre original:Accelerating Transformers Fine-Tuning with NVIDIA NeMo AutoModel
Résumé IA
NVIDIA NeMo AutoModel est une bibliothèque open source fondée sur Transformers v5, ajoutant l'Expert Parallelism, l'ordonnancement all-to-all fusionné DeepEP et les noyaux TransformerEngine. Pour le micro-ajustement de modèles MoE, le débit d'entraînement est multiplié par 3,4 à 3,7 et la mémoire GPU réduite de 29 à 32 % par rapport à v5 natif, avec une seule ligne d'import à modifier. Lors du micro-ajustement complet de Nemotron 3 Ultra 550B A55B sur 16 nœuds et 128 H100, v5 ne peut s'exécuter faute de mémoire, tandis qu'AutoModel rend l'entraînement possible grâce au parallélisme d'experts EP=64. Les modèles MoE de 30B sur un seul nœud (comme Qwen3-30B-A3B) bénéficient aussi d'un avantage de performance mesurable.
Points clés
- NVIDIA NeMo AutoModel est une bibliothèque open source fondée sur Transformers v5,ajoutant…
- Pour le micro-ajustement de modèles MoE,le débit d'entraînement est multiplié par 3,4 à 3,7 et la…
- Lors du micro-ajustement complet de Nemotron 3 Ultra 550B A55B sur 16 nœuds et 128 H100,v5 ne peut…
- Les modèles MoE de 30B sur un seul nœud (comme Qwen3-30B-A3B) bénéficient aussi d'un avantage de…
En bref
- Publié
- Mis à jour
- Source
- Hugging Face 社区博客(混合发现)
- Catégorie
- Tutoriels et astuces
- Score IA
- 66
英伟达的 NeMo AutoModel 把 MoE 模型微调速度提高了三倍多,内存省了近三分之一,代码只需改一行 import,做训练的可以立刻升级。
Entités associées
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : NVIDIA NeMo AutoModel : une ligne de code pour accélérer le micro-ajustement des modèles Transformer MoE. 25. juin 2026. https://new.nat6.net/fr/news/cmqs9yjcy0187slfupnhipvhf/