Туториалы и советы

Дообучение NVIDIA Cosmos Predict 2.5: генерация видео роботов с LoRA/DoRA

Оригинальный заголовок:Fine-Tuning NVIDIA Cosmos Predict 2.5 with LoRA/DoRA for Robot Video Generation

ИИ-резюме

NVIDIA Cosmos Predict 2.5 — мировая модель с 2 млрд параметров, генерирующая физически правдоподобное видео по тексту, изображению или фрагменту видео. С помощью LoRA или DoRA в слои внимания DiT (to_q, to_k, to_v, to_out.0) и слои прямого распространения внедряются обучаемые адаптеры, все веса базовой модели замораживаются, и параметрически эффективное дообучение выполняется на одном GPU с 80 ГБ, избегая высокой стоимости полного дообучения и катастрофического забывания. Процесс использует библиотеки diffusers и accelerate, обучающий набор из 92 видео манипуляций робота и 50 тестовых пар (prompt, image), а также показывает, как с помощью дообученной модели генерировать синтетические траектории робота для последующих задач обучения роботов. Поддерживается обучение на одном и нескольких GPU, а переключение адаптеров разных доменов не требует переобучения.

Ключевые моменты

  • NVIDIA Cosmos Predict 2.
  • 5 — мировая модель с 2 млрд параметров,генерирующая физически правдоподобное видео по…
  • С помощью LoRA или DoRA в слои внимания DiT (to_q,to_k,to_v,to_out.
  • 0) и слои прямого распространения внедряются обучаемые адаптеры,все веса базовой модели…
  • Процесс использует библиотеки diffusers и accelerate,обучающий набор из 92 видео манипуляций…

Кратко

Опубликовано
Обновлено
Источник
Hugging Face 社区博客(混合发现)
Категория
Туториалы и советы
Оценка ИИ
67
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

这篇教程把微调Cosmos Predict 2.5的方法从头到尾讲清楚了,做机器人合成数据的同行可以直接抄作业,LoRA/DoRA切换也很方便,值得收藏。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Дообучение NVIDIA Cosmos Predict 2.5: генерация видео роботов с LoRA/DoRA. 19 мая 2026. https://new.nat6.net/ru/news/cmpbfzxd4172bslnzzdo3g1lc/

Смотреть все →