Tutorials & Tipps

NVIDIA NeMo AutoModel: Feinabstimmung von Transformer-MoE-Modellen mit einer Codezeile beschleunigen

Originaltitel:Accelerating Transformers Fine-Tuning with NVIDIA NeMo AutoModel

KI-Zusammenfassung

NVIDIA NeMo AutoModel ist eine Open-Source-Bibliothek auf Basis von Transformers v5 und ergänzt Expert Parallelism, DeepEP-fusioniertes All-to-All-Scheduling sowie TransformerEngine-Kernel. Bei der Feinabstimmung von MoE-Modellen steigert sie den Trainingsdurchsatz im Vergleich zu nativem v5 um das 3,4- bis 3,7-Fache und reduziert den GPU-Speicher um 29–32 %; dafür ist lediglich eine geänderte Import-Zeile nötig. Bei der vollständigen Feinabstimmung von Nemotron 3 Ultra 550B A55B auf 16 Knoten mit 128 H100-GPUs konnte v5 wegen Speichermangels nicht ausgeführt werden, während AutoModel durch Expertenparallelität mit EP=64 das Training ermöglicht. Auch bei ein-Knotigen 30B-MoE-Modellen (etwa Qwen3-30B-A3B) ergeben sich quantifizierbare Leistungsvorteile.

Kernpunkte

  • NVIDIA NeMo AutoModel ist eine Open-Source-Bibliothek auf Basis von Transformers v5 und ergänzt…
  • Bei der Feinabstimmung von MoE-Modellen steigert sie den Trainingsdurchsatz im Vergleich zu…
  • dafür ist lediglich eine geänderte Import-Zeile nötig.
  • Bei der vollständigen Feinabstimmung von Nemotron 3 Ultra 550B A55B auf 16 Knoten mit 128…
  • Auch bei ein-Knotigen 30B-MoE-Modellen (etwa Qwen3-30B-A3B) ergeben sich quantifizierbare…

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
Hugging Face 社区博客(混合发现)
Kategorie
Tutorials & Tipps
KI-Bewertung
66
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

英伟达的 NeMo AutoModel 把 MoE 模型微调速度提高了三倍多,内存省了近三分之一,代码只需改一行 import,做训练的可以立刻升级。

Verwandte Entitäten

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: NVIDIA NeMo AutoModel: Feinabstimmung von Transformer-MoE-Modellen mit einer Codezeile beschleunigen. 25. Juni 2026. https://new.nat6.net/de/news/cmqs9yjcy0187slfupnhipvhf/

Alle ansehen →