Релизы моделей

MolmoMotion: модель прогнозирования 3D-движения с языковым управлением

Оригинальный заголовок:MolmoMotion: Language-guided 3D motion forecasting

ИИ-резюме

MolmoMotion на основе магистрали Molmo 2 принимает кадры видео, 3D-метки точек на объектах и текстовые команды движения (например, «переместить и повернуть деревянную миску с фруктами на столе») и предсказывает 3D-траектории этих точек на несколько секунд вперёд. Представлены два варианта: авторегрессионный MolmoMotion-AR пошагово предсказывает координаты, а flow-matching MolmoMotion-FM обрабатывает множественные возможные движения через непрерывные пространственные преобразования. Также выпущены датасет MolmoMotion-1M (3D-траектории точек и описания действий для 1,16 млн видео) и бенчмарк PointMotionBench (2700 вручную проверенных видеоклипов). Веса модели, датасет и бенчмарк открыты.

Ключевые моменты

  • MolmoMotion на основе магистрали Molmo 2 принимает кадры видео,3D-метки точек на объектах и…
  • Представлены два варианта: авторегрессионный MolmoMotion-AR пошагово предсказывает координаты,а…
  • Также выпущены датасет MolmoMotion-1M (3D-траектории точек и описания действий для 1,16 млн видео)…
  • Веса модели,датасет и бенчмарк открыты.

Кратко

Опубликовано
Обновлено
Источник
Hugging Face 社区博客(混合发现)
Категория
Релизы моделей
Оценка ИИ
69
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

MolmoMotion把3D运动预测从模板化推到任意物体,百万级数据集和基准让研究门槛大降,做机器人和视频生成的值得认真看,但目前仍是研究阶段,离落地还有距离。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: MolmoMotion: модель прогнозирования 3D-движения с языковым управлением. 17 июня 2026. https://new.nat6.net/ru/news/cmqi8qht206mtslf0a4q8mkrb/

Смотреть все →