Modellveröffentlichungen

MolmoMotion: sprachgesteuertes 3D-Bewegungsvorhersagemodell

Originaltitel:MolmoMotion: Language-guided 3D motion forecasting

KI-Zusammenfassung

MolmoMotion basiert auf dem Molmo-2-Backbone und nimmt Videoframes, 3D-Punktmarkierungen auf Objekten sowie textliche Bewegungsanweisungen (etwa „bewege und drehe die Holzschale mit Obst auf dem Tisch“) entgegen, um die 3D-Trajektorien dieser Punkte für die nächsten Sekunden vorherzusagen. Es gibt zwei Varianten: das autoregressive MolmoMotion-AR, das Koordinaten schrittweise vorhersagt, und das Flow-Matching-Modell MolmoMotion-FM, das mehrere mögliche Bewegungen durch kontinuierliche Raumtransformationen verarbeitet. Zudem wurden das Dataset MolmoMotion-1M (3D-Punkt-Trajektorien und Bewegungsbeschreibungen aus 1,16 Mio. Videos) und der Benchmark PointMotionBench (2.700 manuell verifizierte Videosegmente) veröffentlicht. Modellgewichte, Dataset und Benchmark sind Open Source.

Kernpunkte

  • MolmoMotion basiert auf dem Molmo-2-Backbone und nimmt Videoframes,3D-Punktmarkierungen auf…
  • Es gibt zwei Varianten: das autoregressive MolmoMotion-AR,das Koordinaten schrittweise…
  • Zudem wurden das Dataset MolmoMotion-1M (3D-Punkt-Trajektorien und Bewegungsbeschreibungen aus…
  • Videos) und der Benchmark PointMotionBench (2.
  • 700 manuell verifizierte Videosegmente) veröffentlicht.

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
Hugging Face 社区博客(混合发现)
Kategorie
Modellveröffentlichungen
KI-Bewertung
69
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

MolmoMotion把3D运动预测从模板化推到任意物体,百万级数据集和基准让研究门槛大降,做机器人和视频生成的值得认真看,但目前仍是研究阶段,离落地还有距离。

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: MolmoMotion: sprachgesteuertes 3D-Bewegungsvorhersagemodell. 17. Juni 2026. https://new.nat6.net/de/news/cmqi8qht206mtslf0a4q8mkrb/

Alle ansehen →