บทแนะนำและเทคนิค

ปรับแต่ง NVIDIA Cosmos Predict 2.5: สร้างวิดีโอหุ่นยนต์ด้วย LoRA/DoRA

หัวข้อต้นฉบับ:Fine-Tuning NVIDIA Cosmos Predict 2.5 with LoRA/DoRA for Robot Video Generation

สรุปโดย AI

NVIDIA Cosmos Predict 2.5 เป็นโมเดลโลกขนาด 2B พารามิเตอร์ ที่สร้างวิดีโอสมจริงตามหลักฟิสิกส์จากข้อความ ภาพ หรือคลิปวิดีโอ ด้วยการฉีดตัวปรับแต่งที่ฝึกได้ผ่าน LoRA หรือ DoRA เข้าไปในเลเยอร์ attention (to_q, to_k, to_v, to_out.0) และเลเยอร์ feed-forward ของ DiT โดยแช่แข็งน้ำหนักฐานทั้งหมด ทำให้ปรับแต่งแบบประหยัดพารามิเตอร์ได้บน GPU 80GB เพียงตัวเดียว หลีกเลี่ยงต้นทุนสูงและ catastrophic forgetting ของการปรับแต่งเต็มรูปแบบ กระบวนการนี้ใช้ไลบรารี diffusers และ accelerate ฝึกด้วยชุดข้อมูลวิดีโอการทำงานของหุ่นยนต์ 92 รายการและคู่ทดสอบ (prompt, image) 50 คู่ และแสดงวิธีใช้โมเดลที่ปรับแต่งแล้วสร้างเส้นทางการเคลื่อนที่ของหุ่นยนต์สังเคราะห์เพื่อสนับสนุนงานเรียนรู้ของหุ่นยนต์ปลายทาง รองรับการฝึกด้วย GPU เดียวและหลาย GPU และสลับตัวปรับแต่งโดเมนต่าง ๆ ได้โดยไม่ต้องฝึกใหม่

ข้อมูลสำคัญ

  • NVIDIA Cosmos Predict 2.
  • 5 เป็นโมเดลโลกขนาด 2B พารามิเตอร์ ที่สร้างวิดีโอสมจริงตามหลักฟิสิกส์จากข้อความ ภาพ หรือคลิปวิดีโอ…
  • 0) และเลเยอร์ feed-forward ของ DiT โดยแช่แข็งน้ำหนักฐานทั้งหมด…

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
Hugging Face 社区博客(混合发现)
หมวดหมู่
บทแนะนำและเทคนิค
คะแนน AI
67
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

这篇教程把微调Cosmos Predict 2.5的方法从头到尾讲清楚了,做机器人合成数据的同行可以直接抄作业,LoRA/DoRA切换也很方便,值得收藏。

เอนทิตีที่เกี่ยวข้อง

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: ปรับแต่ง NVIDIA Cosmos Predict 2.5: สร้างวิดีโอหุ่นยนต์ด้วย LoRA/DoRA 19 พฤษภาคม 2026 https://new.nat6.net/th/news/cmpbfzxd4172bslnzzdo3g1lc/

ดูทั้งหมด →