MolmoMotion: sprachgesteuertes 3D-Bewegungsvorhersagemodell
Originaltitel:MolmoMotion: Language-guided 3D motion forecasting
KI-Zusammenfassung
MolmoMotion basiert auf dem Molmo-2-Backbone und nimmt Videoframes, 3D-Punktmarkierungen auf Objekten sowie textliche Bewegungsanweisungen (etwa „bewege und drehe die Holzschale mit Obst auf dem Tisch“) entgegen, um die 3D-Trajektorien dieser Punkte für die nächsten Sekunden vorherzusagen. Es gibt zwei Varianten: das autoregressive MolmoMotion-AR, das Koordinaten schrittweise vorhersagt, und das Flow-Matching-Modell MolmoMotion-FM, das mehrere mögliche Bewegungen durch kontinuierliche Raumtransformationen verarbeitet. Zudem wurden das Dataset MolmoMotion-1M (3D-Punkt-Trajektorien und Bewegungsbeschreibungen aus 1,16 Mio. Videos) und der Benchmark PointMotionBench (2.700 manuell verifizierte Videosegmente) veröffentlicht. Modellgewichte, Dataset und Benchmark sind Open Source.
Kernpunkte
- MolmoMotion basiert auf dem Molmo-2-Backbone und nimmt Videoframes,3D-Punktmarkierungen auf…
- Es gibt zwei Varianten: das autoregressive MolmoMotion-AR,das Koordinaten schrittweise…
- Zudem wurden das Dataset MolmoMotion-1M (3D-Punkt-Trajektorien und Bewegungsbeschreibungen aus…
- Videos) und der Benchmark PointMotionBench (2.
- 700 manuell verifizierte Videosegmente) veröffentlicht.
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- Hugging Face 社区博客(混合发现)
- Kategorie
- Modellveröffentlichungen
- KI-Bewertung
- 69
MolmoMotion把3D运动预测从模板化推到任意物体,百万级数据集和基准让研究门槛大降,做机器人和视频生成的值得认真看,但目前仍是研究阶段,离落地还有距离。
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: MolmoMotion: sprachgesteuertes 3D-Bewegungsvorhersagemodell. 17. Juni 2026. https://new.nat6.net/de/news/cmqi8qht206mtslf0a4q8mkrb/