Ajuste fino de NVIDIA Cosmos Predict 2.5: generar videos de robots con LoRA/DoRA
Título original:Fine-Tuning NVIDIA Cosmos Predict 2.5 with LoRA/DoRA for Robot Video Generation
Resumen de IA
NVIDIA Cosmos Predict 2.5 es un modelo del mundo de 2B parámetros que genera videos físicamente plausibles a partir de texto, imágenes o fragmentos de video. Mediante LoRA o DoRA se inyectan adaptadores entrenables en las capas de atención (to_q, to_k, to_v, to_out.0) y en las capas feedforward del DiT, se congelan todos los pesos de la base y se completa un ajuste fino eficiente en parámetros en una sola GPU de 80 GB, lo que evita el alto coste del ajuste fino completo y el olvido catastrófico. El proceso utiliza las bibliotecas diffusers y accelerate, emplea un conjunto de entrenamiento de 92 videos de operaciones robóticas y 50 pares (prompt, image) de prueba para el ajuste fino, y muestra cómo usar el modelo ajustado para generar trayectorias robóticas sintéticas que apoyen tareas posteriores de aprendizaje robótico. Admite entrenamiento con una o varias GPU y permite cambiar entre adaptadores de distintos dominios sin necesidad de reentrenar.
Puntos clave
- NVIDIA Cosmos Predict 2.
- 5 es un modelo del mundo de 2B parámetros que genera videos físicamente plausibles a partir de…
- Mediante LoRA o DoRA se inyectan adaptadores entrenables en las capas de atención…
- 0) y en las capas feedforward del DiT,se congelan todos los pesos de la base y se completa un…
- El proceso utiliza las bibliotecas diffusers y accelerate,emplea un conjunto de entrenamiento de…
Resumen rápido
- Publicado
- Actualizado
- Fuente
- Hugging Face 社区博客(混合发现)
- Categoría
- Tutoriales y consejos
- Puntuación IA
- 67
这篇教程把微调Cosmos Predict 2.5的方法从头到尾讲清楚了,做机器人合成数据的同行可以直接抄作业,LoRA/DoRA切换也很方便,值得收藏。
Entidades relacionadas
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Ajuste fino de NVIDIA Cosmos Predict 2.5: generar videos de robots con LoRA/DoRA. 19. mayo 2026. https://new.nat6.net/es/news/cmpbfzxd4172bslnzzdo3g1lc/