Tutoriales y consejos

NVIDIA NeMo AutoModel: una línea de código para acelerar el ajuste fino de modelos Transformer MoE

Título original:Accelerating Transformers Fine-Tuning with NVIDIA NeMo AutoModel

Resumen de IA

NVIDIA NeMo AutoModel es una biblioteca de código abierto basada en Transformers v5 que añade Expert Parallelism, el despacho all-to-all fusionado DeepEP y kernels de TransformerEngine. En el ajuste fino de modelos MoE, frente a la versión nativa v5, eleva el rendimiento de entrenamiento 3,4–3,7 veces y reduce la memoria de GPU un 29–32%, con solo cambiar una línea de import. Al ajustar completamente Nemotron 3 Ultra 550B A55B en 16 nodos con 128 H100, v5 no puede ejecutarse por falta de memoria, mientras que AutoModel hace viable el entrenamiento gracias al paralelismo de expertos con EP=64. Los modelos MoE de 30B en un solo nodo (como Qwen3-30B-A3B) también obtienen ventajas de rendimiento cuantificables.

Puntos clave

  • NVIDIA NeMo AutoModel es una biblioteca de código abierto basada en Transformers v5 que añade…
  • En el ajuste fino de modelos MoE,frente a la versión nativa v5,eleva el rendimiento de…
  • Al ajustar completamente Nemotron 3 Ultra 550B A55B en 16 nodos con 128 H100,v5 no puede…
  • Los modelos MoE de 30B en un solo nodo (como Qwen3-30B-A3B) también obtienen ventajas de…

Resumen rápido

Publicado
Actualizado
Fuente
Hugging Face 社区博客(混合发现)
Categoría
Tutoriales y consejos
Puntuación IA
66
Leer el original Leer el artículo completo en la fuente original
Por qué importa

英伟达的 NeMo AutoModel 把 MoE 模型微调速度提高了三倍多,内存省了近三分之一,代码只需改一行 import,做训练的可以立刻升级。

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: NVIDIA NeMo AutoModel: una línea de código para acelerar el ajuste fino de modelos Transformer MoE. 25. junio 2026. https://new.nat6.net/es/news/cmqs9yjcy0187slfupnhipvhf/

Ver todo →