Tutorial & Tips

Fine-tuning NVIDIA Cosmos Predict 2.5: Menghasilkan video robot dengan LoRA/DoRA

Judul asli:Fine-Tuning NVIDIA Cosmos Predict 2.5 with LoRA/DoRA for Robot Video Generation

Ringkasan AI

NVIDIA Cosmos Predict 2.5 adalah model dunia dengan 2B parameter yang dapat menghasilkan video yang masuk akal secara fisik berdasarkan teks, gambar, atau potongan video. Melalui LoRA atau DoRA, adaptor yang dapat dilatih disuntikkan ke lapisan atensi DiT (to_q, to_k, to_v, to_out.0) dan lapisan feed-forward, sementara seluruh bobot dasar dibekukan, sehingga fine-tuning hemat parameter dapat diselesaikan pada satu GPU 80GB, menghindari biaya tinggi dan catastrophic forgetting dari fine-tuning penuh. Alur ini menggunakan pustaka diffusers dan accelerate, memanfaatkan 92 video operasi robot sebagai set pelatihan dan 50 pasangan (prompt, image) sebagai pengujian untuk fine-tuning, serta menunjukkan cara menggunakan model hasil fine-tuning untuk menghasilkan lintasan robot sintetis guna mendukung tugas pembelajaran robot hilir. Mendukung pelatihan satu GPU dan multi-GPU, serta beralih adaptor domain berbeda tanpa pelatihan ulang.

Poin utama

  • NVIDIA Cosmos Predict 2.
  • 5 adalah model dunia dengan 2B parameter yang dapat menghasilkan video yang masuk akal secara…
  • Melalui LoRA atau DoRA,adaptor yang dapat dilatih disuntikkan ke lapisan atensi DiT…
  • 0) dan lapisan feed-forward,sementara seluruh bobot dasar dibekukan,sehingga fine-tuning hemat…
  • Alur ini menggunakan pustaka diffusers dan accelerate,memanfaatkan 92 video operasi robot sebagai…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
Hugging Face 社区博客(混合发现)
Kategori
Tutorial & Tips
Skor AI
67
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

这篇教程把微调Cosmos Predict 2.5的方法从头到尾讲清楚了,做机器人合成数据的同行可以直接抄作业,LoRA/DoRA切换也很方便,值得收藏。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Fine-tuning NVIDIA Cosmos Predict 2.5: Menghasilkan video robot dengan LoRA/DoRA. 19 Mei 2026. https://new.nat6.net/id/news/cmpbfzxd4172bslnzzdo3g1lc/

Lihat semua →