NVIDIA NeMo AutoModel: Feinabstimmung von Transformer-MoE-Modellen mit einer Codezeile beschleunigen
Originaltitel:Accelerating Transformers Fine-Tuning with NVIDIA NeMo AutoModel
KI-Zusammenfassung
NVIDIA NeMo AutoModel ist eine Open-Source-Bibliothek auf Basis von Transformers v5 und ergänzt Expert Parallelism, DeepEP-fusioniertes All-to-All-Scheduling sowie TransformerEngine-Kernel. Bei der Feinabstimmung von MoE-Modellen steigert sie den Trainingsdurchsatz im Vergleich zu nativem v5 um das 3,4- bis 3,7-Fache und reduziert den GPU-Speicher um 29–32 %; dafür ist lediglich eine geänderte Import-Zeile nötig. Bei der vollständigen Feinabstimmung von Nemotron 3 Ultra 550B A55B auf 16 Knoten mit 128 H100-GPUs konnte v5 wegen Speichermangels nicht ausgeführt werden, während AutoModel durch Expertenparallelität mit EP=64 das Training ermöglicht. Auch bei ein-Knotigen 30B-MoE-Modellen (etwa Qwen3-30B-A3B) ergeben sich quantifizierbare Leistungsvorteile.
Kernpunkte
- NVIDIA NeMo AutoModel ist eine Open-Source-Bibliothek auf Basis von Transformers v5 und ergänzt…
- Bei der Feinabstimmung von MoE-Modellen steigert sie den Trainingsdurchsatz im Vergleich zu…
- dafür ist lediglich eine geänderte Import-Zeile nötig.
- Bei der vollständigen Feinabstimmung von Nemotron 3 Ultra 550B A55B auf 16 Knoten mit 128…
- Auch bei ein-Knotigen 30B-MoE-Modellen (etwa Qwen3-30B-A3B) ergeben sich quantifizierbare…
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- Hugging Face 社区博客(混合发现)
- Kategorie
- Tutorials & Tipps
- KI-Bewertung
- 66
英伟达的 NeMo AutoModel 把 MoE 模型微调速度提高了三倍多,内存省了近三分之一,代码只需改一行 import,做训练的可以立刻升级。
Verwandte Entitäten
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: NVIDIA NeMo AutoModel: Feinabstimmung von Transformer-MoE-Modellen mit einer Codezeile beschleunigen. 25. Juni 2026. https://new.nat6.net/de/news/cmqs9yjcy0187slfupnhipvhf/