Tutorials & Tipps

NVIDIA Cosmos Predict 2.5 Fine-Tuning: Robotervideos mit LoRA/DoRA generieren

Originaltitel:Fine-Tuning NVIDIA Cosmos Predict 2.5 with LoRA/DoRA for Robot Video Generation

KI-Zusammenfassung

NVIDIA Cosmos Predict 2.5 ist ein Weltmodell mit 2B Parametern, das aus Text, Bildern oder Videosegmenten physikalisch plausible Videos erzeugt. Durch LoRA oder DoRA werden trainierbare Adapter in die Attention-Schichten (to_q, to_k, to_v, to_out.0) und die Feed-Forward-Schichten des DiT injiziert, während alle Basisgewichte eingefroren bleiben; so gelingt parameter-effizientes Fine-Tuning auf einer einzelnen 80-GB-GPU, wodurch die hohen Kosten und das katastrophale Vergessen eines vollständigen Fine-Tunings vermieden werden. Der Ablauf nutzt die Bibliotheken diffusers und accelerate, trainiert mit 92 Roboter-Manipulationsvideos und testet mit 50 (prompt, image)-Paaren; zudem wird gezeigt, wie das feinabgestimmte Modell synthetische Roboter-Trajektorien für nachgelagerte Robotik-Lernaufgaben erzeugt. Einzel- und Multi-GPU-Training werden unterstützt; der Wechsel zwischen Domänen-Adaptern erfordert kein erneutes Training.

Kernpunkte

  • NVIDIA Cosmos Predict 2.
  • 5 ist ein Weltmodell mit 2B Parametern,das aus Text,Bildern oder Videosegmenten physikalisch…
  • Durch LoRA oder DoRA werden trainierbare Adapter in die Attention-Schichten (to_q,to_k,to_v,to_out.
  • 0) und die Feed-Forward-Schichten des DiT injiziert,während alle Basisgewichte eingefroren bleiben
  • so gelingt parameter-effizientes Fine-Tuning auf einer einzelnen 80-GB-GPU,wodurch die hohen…

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
Hugging Face 社区博客(混合发现)
Kategorie
Tutorials & Tipps
KI-Bewertung
67
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

这篇教程把微调Cosmos Predict 2.5的方法从头到尾讲清楚了,做机器人合成数据的同行可以直接抄作业,LoRA/DoRA切换也很方便,值得收藏。

Verwandte Entitäten

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: NVIDIA Cosmos Predict 2.5 Fine-Tuning: Robotervideos mit LoRA/DoRA generieren. 19. Mai 2026. https://new.nat6.net/de/news/cmpbfzxd4172bslnzzdo3g1lc/

Alle ansehen →