NVIDIA Cosmos Predict 2.5 : générer des vidéos de robots par fine-tuning LoRA/DoRA
Titre original:Fine-Tuning NVIDIA Cosmos Predict 2.5 with LoRA/DoRA for Robot Video Generation
Résumé IA
NVIDIA Cosmos Predict 2.5 est un modèle du monde de 2 milliards de paramètres capable de générer des vidéos physiquement plausibles à partir de texte, d'images ou de clips vidéo. En injectant des adaptateurs entraînables via LoRA ou DoRA dans les couches d'attention du DiT (to_q, to_k, to_v, to_out.0) et dans les couches feed-forward, tout en gelant l'ensemble des poids de base, il est possible de réaliser un fine-tuning efficace en paramètres sur un seul GPU de 80 Go, évitant le coût élevé et l'oubli catastrophique d'un fine-tuning complet. Le processus utilise les bibliothèques diffusers et accelerate, avec un jeu d'entraînement de 92 vidéos de manipulation robotique et 50 paires (prompt, image) de test, et montre comment générer des trajectoires robotiques synthétiques avec le modèle affiné pour soutenir les tâches d'apprentissage robotique en aval. L'entraînement est pris en charge sur un ou plusieurs GPU, et le changement d'adaptateur de domaine ne nécessite pas de réentraînement.
Points clés
- NVIDIA Cosmos Predict 2.
- 5 est un modèle du monde de 2 milliards de paramètres capable de générer des vidéos physiquement…
- En injectant des adaptateurs entraînables via LoRA ou DoRA dans les couches d'attention du DiT…
- 0) et dans les couches feed-forward,tout en gelant l'ensemble des poids de base,il est possible de…
- Le processus utilise les bibliothèques diffusers et accelerate,avec un jeu d'entraînement de 92…
En bref
- Publié
- Mis à jour
- Source
- Hugging Face 社区博客(混合发现)
- Catégorie
- Tutoriels et astuces
- Score IA
- 67
这篇教程把微调Cosmos Predict 2.5的方法从头到尾讲清楚了,做机器人合成数据的同行可以直接抄作业,LoRA/DoRA切换也很方便,值得收藏。
Entités associées
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : NVIDIA Cosmos Predict 2.5 : générer des vidéos de robots par fine-tuning LoRA/DoRA. 19. mai 2026. https://new.nat6.net/fr/news/cmpbfzxd4172bslnzzdo3g1lc/