Tinh chỉnh NVIDIA Cosmos Predict 2.5: dùng LoRA/DoRA tạo video robot
Tiêu đề gốc:Fine-Tuning NVIDIA Cosmos Predict 2.5 with LoRA/DoRA for Robot Video Generation
Tóm tắt AI
NVIDIA Cosmos Predict 2.5 là mô hình thế giới 2B tham số, có thể tạo video hợp lý về mặt vật lý dựa trên văn bản, hình ảnh hoặc đoạn video. Bằng cách chèn bộ điều hợp có thể huấn luyện vào các lớp chú ý (to_q, to_k, to_v, to_out.0) và lớp truyền thẳng của DiT thông qua LoRA hoặc DoRA, đóng băng toàn bộ trọng số nền, có thể hoàn thành tinh chỉnh hiệu quả tham số trên một GPU 80GB, tránh chi phí cao và quên thảm khốc của tinh chỉnh toàn phần. Quy trình sử dụng thư viện diffusers và accelerate, tinh chỉnh với tập huấn luyện 92 video thao tác robot và 50 cặp (prompt, image) kiểm thử, đồng thời trình bày cách dùng mô hình đã tinh chỉnh để tạo quỹ đạo robot tổng hợp nhằm hỗ trợ tác vụ học robot hạ nguồn. Hỗ trợ huấn luyện một GPU và nhiều GPU, chuyển đổi bộ điều hợp miền khác nhau không cần huấn luyện lại.
Thông tin chính
- NVIDIA Cosmos Predict 2.
- 5 là mô hình thế giới 2B tham số,có thể tạo video hợp lý về mặt vật lý dựa trên văn bản,hình ảnh…
- Bằng cách chèn bộ điều hợp có thể huấn luyện vào các lớp chú ý (to_q,to_k,to_v,to_out.
- 0) và lớp truyền thẳng của DiT thông qua LoRA hoặc DoRA,đóng băng toàn bộ trọng số nền,có thể hoàn…
- Quy trình sử dụng thư viện diffusers và accelerate,tinh chỉnh với tập huấn luyện 92 video thao tác…
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Nguồn
- Hugging Face 社区博客(混合发现)
- Danh mục
- Hướng dẫn & mẹo
- Điểm AI
- 67
这篇教程把微调Cosmos Predict 2.5的方法从头到尾讲清楚了,做机器人合成数据的同行可以直接抄作业,LoRA/DoRA切换也很方便,值得收藏。
Thực thể liên quan
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: Tinh chỉnh NVIDIA Cosmos Predict 2.5: dùng LoRA/DoRA tạo video robot. 19 tháng 5 2026. https://new.nat6.net/vi/news/cmpbfzxd4172bslnzzdo3g1lc/