MolmoMotion: 언어로 안내되는 3D 운동 예측 모델
원제목:MolmoMotion: Language-guided 3D motion forecasting
AI 요약
MolmoMotion은 Molmo 2 백본 기반으로 영상 프레임, 물체 위의 3D 점 표시, 텍스트 동작 명령(예: '책상 위 과일을 담은 나무 그릇을 이동하고 회전')을 입력받아 향후 수 초 내 해당 점들의 3D 궤적을 예측한다. 자회귀 방식의 MolmoMotion-AR은 좌표를 단계적으로 예측하고, 플로우 매칭 방식의 MolmoMotion-FM은 연속 공간 변환으로 다양한 가능성의 운동을 처리한다. 동시에 MolmoMotion-1M 데이터셋(116만 영상의 3D 점 궤적 및 동작 설명 포함)과 PointMotionBench 벤치마크(2,700개 수동 검증 영상 클립)를 공개했다. 모델 가중치, 데이터셋, 벤치마크는 모두 오픈소스로 공개됐다.
핵심 정보
- MolmoMotion은 Molmo 2 백본 기반으로 영상 프레임,물체 위의 3D 점 표시,텍스트 동작 명령(예: '책상 위 과일을 담은 나무 그릇을 이동하고 회전')을 입력받아…
- 자회귀 방식의 MolmoMotion-AR은 좌표를 단계적으로 예측하고,플로우 매칭 방식의 MolmoMotion-FM은 연속 공간 변환으로 다양한 가능성의 운동을 처리한다.
- 동시에 MolmoMotion-1M 데이터셋(116만 영상의 3D 점 궤적 및 동작 설명 포함)과 PointMotionBench 벤치마크(2,700개 수동 검증 영상 클립)를…
- 모델 가중치,데이터셋,벤치마크는 모두 오픈소스로 공개됐다.
한눈에 보기
- 게시
- 업데이트
- 카테고리
- 모델 출시
- AI 점수
- 69
MolmoMotion把3D运动预测从模板化推到任意物体,百万级数据集和基准让研究门槛大降,做机器人和视频生成的值得认真看,但目前仍是研究阶段,离落地还有距离。
출처 및 저작권
이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.
인용 방법
본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.
Orange News: MolmoMotion: 언어로 안내되는 3D 운동 예측 모델. 2026년 6월 17일. https://new.nat6.net/ko/news/cmqi8qht206mtslf0a4q8mkrb/