Туториалы и советы

NVIDIA NeMo AutoModel: одна строка кода ускоряет дообучение MoE-моделей Transformer

Оригинальный заголовок:Accelerating Transformers Fine-Tuning with NVIDIA NeMo AutoModel

ИИ-резюме

NVIDIA NeMo AutoModel — библиотека с открытым исходным кодом на базе Transformers v5, добавляющая Expert Parallelism, fused all-to-all диспетчеризацию DeepEP и ядра TransformerEngine. При дообучении MoE-моделей по сравнению с оригинальной v5 пропускная способность обучения выше в 3,4–3,7 раза, память GPU сокращается на 29–32%, а изменить нужно лишь одну строку import. При полном дообучении Nemotron 3 Ultra 550B A55B на 16 узлах со 128 H100 версия v5 не запускается из-за нехватки памяти, тогда как AutoModel благодаря параллелизму экспертов EP=64 делает обучение возможным. Для одноузловых MoE-моделей на 30B (например, Qwen3-30B-A3B) также достигается измеримое преимущество в производительности.

Ключевые моменты

  • NVIDIA NeMo AutoModel — библиотека с открытым исходным кодом на базе Transformers v5,добавляющая…
  • При дообучении MoE-моделей по сравнению с оригинальной v5 пропускная способность обучения выше в…
  • При полном дообучении Nemotron 3 Ultra 550B A55B на 16 узлах со 128 H100 версия v5 не запускается…
  • Для одноузловых MoE-моделей на 30B (например,Qwen3-30B-A3B) также достигается измеримое…

Кратко

Опубликовано
Обновлено
Источник
Hugging Face 社区博客(混合发现)
Категория
Туториалы и советы
Оценка ИИ
66
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

英伟达的 NeMo AutoModel 把 MoE 模型微调速度提高了三倍多,内存省了近三分之一,代码只需改一行 import,做训练的可以立刻升级。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: NVIDIA NeMo AutoModel: одна строка кода ускоряет дообучение MoE-моделей Transformer. 25 июня 2026. https://new.nat6.net/ru/news/cmqs9yjcy0187slfupnhipvhf/

Смотреть все →