ปรับแต่ง NVIDIA Cosmos Predict 2.5: สร้างวิดีโอหุ่นยนต์ด้วย LoRA/DoRA
หัวข้อต้นฉบับ:Fine-Tuning NVIDIA Cosmos Predict 2.5 with LoRA/DoRA for Robot Video Generation
สรุปโดย AI
NVIDIA Cosmos Predict 2.5 เป็นโมเดลโลกขนาด 2B พารามิเตอร์ ที่สร้างวิดีโอสมจริงตามหลักฟิสิกส์จากข้อความ ภาพ หรือคลิปวิดีโอ ด้วยการฉีดตัวปรับแต่งที่ฝึกได้ผ่าน LoRA หรือ DoRA เข้าไปในเลเยอร์ attention (to_q, to_k, to_v, to_out.0) และเลเยอร์ feed-forward ของ DiT โดยแช่แข็งน้ำหนักฐานทั้งหมด ทำให้ปรับแต่งแบบประหยัดพารามิเตอร์ได้บน GPU 80GB เพียงตัวเดียว หลีกเลี่ยงต้นทุนสูงและ catastrophic forgetting ของการปรับแต่งเต็มรูปแบบ กระบวนการนี้ใช้ไลบรารี diffusers และ accelerate ฝึกด้วยชุดข้อมูลวิดีโอการทำงานของหุ่นยนต์ 92 รายการและคู่ทดสอบ (prompt, image) 50 คู่ และแสดงวิธีใช้โมเดลที่ปรับแต่งแล้วสร้างเส้นทางการเคลื่อนที่ของหุ่นยนต์สังเคราะห์เพื่อสนับสนุนงานเรียนรู้ของหุ่นยนต์ปลายทาง รองรับการฝึกด้วย GPU เดียวและหลาย GPU และสลับตัวปรับแต่งโดเมนต่าง ๆ ได้โดยไม่ต้องฝึกใหม่
ข้อมูลสำคัญ
- NVIDIA Cosmos Predict 2.
- 5 เป็นโมเดลโลกขนาด 2B พารามิเตอร์ ที่สร้างวิดีโอสมจริงตามหลักฟิสิกส์จากข้อความ ภาพ หรือคลิปวิดีโอ…
- 0) และเลเยอร์ feed-forward ของ DiT โดยแช่แข็งน้ำหนักฐานทั้งหมด…
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- Hugging Face 社区博客(混合发现)
- หมวดหมู่
- บทแนะนำและเทคนิค
- คะแนน AI
- 67
这篇教程把微调Cosmos Predict 2.5的方法从头到尾讲清楚了,做机器人合成数据的同行可以直接抄作业,LoRA/DoRA切换也很方便,值得收藏。
เอนทิตีที่เกี่ยวข้อง
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: ปรับแต่ง NVIDIA Cosmos Predict 2.5: สร้างวิดีโอหุ่นยนต์ด้วย LoRA/DoRA 19 พฤษภาคม 2026 https://new.nat6.net/th/news/cmpbfzxd4172bslnzzdo3g1lc/