NVIDIA Cosmos Predict 2.5 Fine-Tuning: Robotervideos mit LoRA/DoRA generieren
Originaltitel:Fine-Tuning NVIDIA Cosmos Predict 2.5 with LoRA/DoRA for Robot Video Generation
KI-Zusammenfassung
NVIDIA Cosmos Predict 2.5 ist ein Weltmodell mit 2B Parametern, das aus Text, Bildern oder Videosegmenten physikalisch plausible Videos erzeugt. Durch LoRA oder DoRA werden trainierbare Adapter in die Attention-Schichten (to_q, to_k, to_v, to_out.0) und die Feed-Forward-Schichten des DiT injiziert, während alle Basisgewichte eingefroren bleiben; so gelingt parameter-effizientes Fine-Tuning auf einer einzelnen 80-GB-GPU, wodurch die hohen Kosten und das katastrophale Vergessen eines vollständigen Fine-Tunings vermieden werden. Der Ablauf nutzt die Bibliotheken diffusers und accelerate, trainiert mit 92 Roboter-Manipulationsvideos und testet mit 50 (prompt, image)-Paaren; zudem wird gezeigt, wie das feinabgestimmte Modell synthetische Roboter-Trajektorien für nachgelagerte Robotik-Lernaufgaben erzeugt. Einzel- und Multi-GPU-Training werden unterstützt; der Wechsel zwischen Domänen-Adaptern erfordert kein erneutes Training.
Kernpunkte
- NVIDIA Cosmos Predict 2.
- 5 ist ein Weltmodell mit 2B Parametern,das aus Text,Bildern oder Videosegmenten physikalisch…
- Durch LoRA oder DoRA werden trainierbare Adapter in die Attention-Schichten (to_q,to_k,to_v,to_out.
- 0) und die Feed-Forward-Schichten des DiT injiziert,während alle Basisgewichte eingefroren bleiben
- so gelingt parameter-effizientes Fine-Tuning auf einer einzelnen 80-GB-GPU,wodurch die hohen…
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- Hugging Face 社区博客(混合发现)
- Kategorie
- Tutorials & Tipps
- KI-Bewertung
- 67
这篇教程把微调Cosmos Predict 2.5的方法从头到尾讲清楚了,做机器人合成数据的同行可以直接抄作业,LoRA/DoRA切换也很方便,值得收藏。
Verwandte Entitäten
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: NVIDIA Cosmos Predict 2.5 Fine-Tuning: Robotervideos mit LoRA/DoRA generieren. 19. Mai 2026. https://new.nat6.net/de/news/cmpbfzxd4172bslnzzdo3g1lc/