Tutoriales y consejos

Ajuste fino de NVIDIA Cosmos Predict 2.5: generar videos de robots con LoRA/DoRA

Título original:Fine-Tuning NVIDIA Cosmos Predict 2.5 with LoRA/DoRA for Robot Video Generation

Resumen de IA

NVIDIA Cosmos Predict 2.5 es un modelo del mundo de 2B parámetros que genera videos físicamente plausibles a partir de texto, imágenes o fragmentos de video. Mediante LoRA o DoRA se inyectan adaptadores entrenables en las capas de atención (to_q, to_k, to_v, to_out.0) y en las capas feedforward del DiT, se congelan todos los pesos de la base y se completa un ajuste fino eficiente en parámetros en una sola GPU de 80 GB, lo que evita el alto coste del ajuste fino completo y el olvido catastrófico. El proceso utiliza las bibliotecas diffusers y accelerate, emplea un conjunto de entrenamiento de 92 videos de operaciones robóticas y 50 pares (prompt, image) de prueba para el ajuste fino, y muestra cómo usar el modelo ajustado para generar trayectorias robóticas sintéticas que apoyen tareas posteriores de aprendizaje robótico. Admite entrenamiento con una o varias GPU y permite cambiar entre adaptadores de distintos dominios sin necesidad de reentrenar.

Puntos clave

  • NVIDIA Cosmos Predict 2.
  • 5 es un modelo del mundo de 2B parámetros que genera videos físicamente plausibles a partir de…
  • Mediante LoRA o DoRA se inyectan adaptadores entrenables en las capas de atención…
  • 0) y en las capas feedforward del DiT,se congelan todos los pesos de la base y se completa un…
  • El proceso utiliza las bibliotecas diffusers y accelerate,emplea un conjunto de entrenamiento de…

Resumen rápido

Publicado
Actualizado
Fuente
Hugging Face 社区博客(混合发现)
Categoría
Tutoriales y consejos
Puntuación IA
67
Leer el original Leer el artículo completo en la fuente original
Por qué importa

这篇教程把微调Cosmos Predict 2.5的方法从头到尾讲清楚了,做机器人合成数据的同行可以直接抄作业,LoRA/DoRA切换也很方便,值得收藏。

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Ajuste fino de NVIDIA Cosmos Predict 2.5: generar videos de robots con LoRA/DoRA. 19. mayo 2026. https://new.nat6.net/es/news/cmpbfzxd4172bslnzzdo3g1lc/

Ver todo →