NVIDIA NeMo AutoModel: одна строка кода ускоряет дообучение MoE-моделей Transformer
Оригинальный заголовок:Accelerating Transformers Fine-Tuning with NVIDIA NeMo AutoModel
ИИ-резюме
NVIDIA NeMo AutoModel — библиотека с открытым исходным кодом на базе Transformers v5, добавляющая Expert Parallelism, fused all-to-all диспетчеризацию DeepEP и ядра TransformerEngine. При дообучении MoE-моделей по сравнению с оригинальной v5 пропускная способность обучения выше в 3,4–3,7 раза, память GPU сокращается на 29–32%, а изменить нужно лишь одну строку import. При полном дообучении Nemotron 3 Ultra 550B A55B на 16 узлах со 128 H100 версия v5 не запускается из-за нехватки памяти, тогда как AutoModel благодаря параллелизму экспертов EP=64 делает обучение возможным. Для одноузловых MoE-моделей на 30B (например, Qwen3-30B-A3B) также достигается измеримое преимущество в производительности.
Ключевые моменты
- NVIDIA NeMo AutoModel — библиотека с открытым исходным кодом на базе Transformers v5,добавляющая…
- При дообучении MoE-моделей по сравнению с оригинальной v5 пропускная способность обучения выше в…
- При полном дообучении Nemotron 3 Ultra 550B A55B на 16 узлах со 128 H100 версия v5 не запускается…
- Для одноузловых MoE-моделей на 30B (например,Qwen3-30B-A3B) также достигается измеримое…
Кратко
- Опубликовано
- Обновлено
- Источник
- Hugging Face 社区博客(混合发现)
- Категория
- Туториалы и советы
- Оценка ИИ
- 66
英伟达的 NeMo AutoModel 把 MoE 模型微调速度提高了三倍多,内存省了近三分之一,代码只需改一行 import,做训练的可以立刻升级。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: NVIDIA NeMo AutoModel: одна строка кода ускоряет дообучение MoE-моделей Transformer. 25 июня 2026. https://new.nat6.net/ru/news/cmqs9yjcy0187slfupnhipvhf/