NVIDIA NeMo AutoModel: una línea de código para acelerar el ajuste fino de modelos Transformer MoE
Título original:Accelerating Transformers Fine-Tuning with NVIDIA NeMo AutoModel
Resumen de IA
NVIDIA NeMo AutoModel es una biblioteca de código abierto basada en Transformers v5 que añade Expert Parallelism, el despacho all-to-all fusionado DeepEP y kernels de TransformerEngine. En el ajuste fino de modelos MoE, frente a la versión nativa v5, eleva el rendimiento de entrenamiento 3,4–3,7 veces y reduce la memoria de GPU un 29–32%, con solo cambiar una línea de import. Al ajustar completamente Nemotron 3 Ultra 550B A55B en 16 nodos con 128 H100, v5 no puede ejecutarse por falta de memoria, mientras que AutoModel hace viable el entrenamiento gracias al paralelismo de expertos con EP=64. Los modelos MoE de 30B en un solo nodo (como Qwen3-30B-A3B) también obtienen ventajas de rendimiento cuantificables.
Puntos clave
- NVIDIA NeMo AutoModel es una biblioteca de código abierto basada en Transformers v5 que añade…
- En el ajuste fino de modelos MoE,frente a la versión nativa v5,eleva el rendimiento de…
- Al ajustar completamente Nemotron 3 Ultra 550B A55B en 16 nodos con 128 H100,v5 no puede…
- Los modelos MoE de 30B en un solo nodo (como Qwen3-30B-A3B) también obtienen ventajas de…
Resumen rápido
- Publicado
- Actualizado
- Fuente
- Hugging Face 社区博客(混合发现)
- Categoría
- Tutoriales y consejos
- Puntuación IA
- 66
英伟达的 NeMo AutoModel 把 MoE 模型微调速度提高了三倍多,内存省了近三分之一,代码只需改一行 import,做训练的可以立刻升级。
Entidades relacionadas
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: NVIDIA NeMo AutoModel: una línea de código para acelerar el ajuste fino de modelos Transformer MoE. 25. junio 2026. https://new.nat6.net/es/news/cmqs9yjcy0187slfupnhipvhf/