NVIDIA Cosmos Predict 2.5 미세조정: LoRA/DoRA로 로봇 영상 생성
원제목:Fine-Tuning NVIDIA Cosmos Predict 2.5 with LoRA/DoRA for Robot Video Generation
AI 요약
NVIDIA Cosmos Predict 2.5는 2B 파라미터 세계 모델로, 텍스트, 이미지 또는 영상 클립을 기반으로 물리적으로 합리적인 영상을 생성한다. LoRA 또는 DoRA를 DiT의 어텐션 레이어(to_q, to_k, to_v, to_out.0)와 피드포워드 레이어에 주입해 훈련 가능한 어댑터를 추가하고 모든 기반 가중치를 동결하면 단일 80GB GPU에서 파라미터 효율적 미세조정이 가능해, 전체 미세조정의 높은 비용과 치명적 망각을 피할 수 있다. 이流程은 diffusers와 accelerate 라이브러리를 사용하며 92개의 로봇 조작 영상 훈련 세트와 50개의 (prompt, image) 테스트 쌍으로 미세조정하고, 미세조정 모델로 합성 로봇 궤적을 생성해 다운스트림 로봇 학습 작업을 지원하는 방법을 보여준다. 단일 GPU와 다중 GPU 훈련을 지원하며 다른 도메인 어댑터로 전환할 때 재훈련이 필요 없다.
핵심 정보
- NVIDIA Cosmos Predict 2.
- 5는 2B 파라미터 세계 모델로,텍스트,이미지 또는 영상 클립을 기반으로 물리적으로 합리적인 영상을 생성한다.
- LoRA 또는 DoRA를 DiT의 어텐션 레이어(to_q,to_k,to_v,to_out.
- 0)와 피드포워드 레이어에 주입해 훈련 가능한 어댑터를 추가하고 모든 기반 가중치를 동결하면 단일 80GB GPU에서 파라미터 효율적 미세조정이 가능해,전체 미세조정의 높은…
- 이流程은 diffusers와 accelerate 라이브러리를 사용하며 92개의 로봇 조작 영상 훈련 세트와 50개의 (prompt,image) 테스트 쌍으로 미세조정하고,미세조정…
한눈에 보기
- 게시
- 업데이트
- 카테고리
- 튜토리얼 및 팁
- AI 점수
- 67
这篇教程把微调Cosmos Predict 2.5的方法从头到尾讲清楚了,做机器人合成数据的同行可以直接抄作业,LoRA/DoRA切换也很方便,值得收藏。
관련 엔티티
출처 및 저작권
이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.
인용 방법
본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.
Orange News: NVIDIA Cosmos Predict 2.5 미세조정: LoRA/DoRA로 로봇 영상 생성. 2026년 5월 19일. https://new.nat6.net/ko/news/cmpbfzxd4172bslnzzdo3g1lc/