Hướng dẫn & mẹo

Tinh chỉnh NVIDIA Cosmos Predict 2.5: dùng LoRA/DoRA tạo video robot

Tiêu đề gốc:Fine-Tuning NVIDIA Cosmos Predict 2.5 with LoRA/DoRA for Robot Video Generation

Tóm tắt AI

NVIDIA Cosmos Predict 2.5 là mô hình thế giới 2B tham số, có thể tạo video hợp lý về mặt vật lý dựa trên văn bản, hình ảnh hoặc đoạn video. Bằng cách chèn bộ điều hợp có thể huấn luyện vào các lớp chú ý (to_q, to_k, to_v, to_out.0) và lớp truyền thẳng của DiT thông qua LoRA hoặc DoRA, đóng băng toàn bộ trọng số nền, có thể hoàn thành tinh chỉnh hiệu quả tham số trên một GPU 80GB, tránh chi phí cao và quên thảm khốc của tinh chỉnh toàn phần. Quy trình sử dụng thư viện diffusers và accelerate, tinh chỉnh với tập huấn luyện 92 video thao tác robot và 50 cặp (prompt, image) kiểm thử, đồng thời trình bày cách dùng mô hình đã tinh chỉnh để tạo quỹ đạo robot tổng hợp nhằm hỗ trợ tác vụ học robot hạ nguồn. Hỗ trợ huấn luyện một GPU và nhiều GPU, chuyển đổi bộ điều hợp miền khác nhau không cần huấn luyện lại.

Thông tin chính

  • NVIDIA Cosmos Predict 2.
  • 5 là mô hình thế giới 2B tham số,có thể tạo video hợp lý về mặt vật lý dựa trên văn bản,hình ảnh…
  • Bằng cách chèn bộ điều hợp có thể huấn luyện vào các lớp chú ý (to_q,to_k,to_v,to_out.
  • 0) và lớp truyền thẳng của DiT thông qua LoRA hoặc DoRA,đóng băng toàn bộ trọng số nền,có thể hoàn…
  • Quy trình sử dụng thư viện diffusers và accelerate,tinh chỉnh với tập huấn luyện 92 video thao tác…

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
Hugging Face 社区博客(混合发现)
Danh mục
Hướng dẫn & mẹo
Điểm AI
67
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

这篇教程把微调Cosmos Predict 2.5的方法从头到尾讲清楚了,做机器人合成数据的同行可以直接抄作业,LoRA/DoRA切换也很方便,值得收藏。

Thực thể liên quan

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: Tinh chỉnh NVIDIA Cosmos Predict 2.5: dùng LoRA/DoRA tạo video robot. 19 tháng 5 2026. https://new.nat6.net/vi/news/cmpbfzxd4172bslnzzdo3g1lc/

Xem tất cả →