Дообучение NVIDIA Cosmos Predict 2.5: генерация видео роботов с LoRA/DoRA
Оригинальный заголовок:Fine-Tuning NVIDIA Cosmos Predict 2.5 with LoRA/DoRA for Robot Video Generation
ИИ-резюме
NVIDIA Cosmos Predict 2.5 — мировая модель с 2 млрд параметров, генерирующая физически правдоподобное видео по тексту, изображению или фрагменту видео. С помощью LoRA или DoRA в слои внимания DiT (to_q, to_k, to_v, to_out.0) и слои прямого распространения внедряются обучаемые адаптеры, все веса базовой модели замораживаются, и параметрически эффективное дообучение выполняется на одном GPU с 80 ГБ, избегая высокой стоимости полного дообучения и катастрофического забывания. Процесс использует библиотеки diffusers и accelerate, обучающий набор из 92 видео манипуляций робота и 50 тестовых пар (prompt, image), а также показывает, как с помощью дообученной модели генерировать синтетические траектории робота для последующих задач обучения роботов. Поддерживается обучение на одном и нескольких GPU, а переключение адаптеров разных доменов не требует переобучения.
Ключевые моменты
- NVIDIA Cosmos Predict 2.
- 5 — мировая модель с 2 млрд параметров,генерирующая физически правдоподобное видео по…
- С помощью LoRA или DoRA в слои внимания DiT (to_q,to_k,to_v,to_out.
- 0) и слои прямого распространения внедряются обучаемые адаптеры,все веса базовой модели…
- Процесс использует библиотеки diffusers и accelerate,обучающий набор из 92 видео манипуляций…
Кратко
- Опубликовано
- Обновлено
- Источник
- Hugging Face 社区博客(混合发现)
- Категория
- Туториалы и советы
- Оценка ИИ
- 67
这篇教程把微调Cosmos Predict 2.5的方法从头到尾讲清楚了,做机器人合成数据的同行可以直接抄作业,LoRA/DoRA切换也很方便,值得收藏。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Дообучение NVIDIA Cosmos Predict 2.5: генерация видео роботов с LoRA/DoRA. 19 мая 2026. https://new.nat6.net/ru/news/cmpbfzxd4172bslnzzdo3g1lc/