Другое

DreamGen: роботы «видят сны» в моделях генерации видео и синтезируют обучающие данные

Оригинальный заголовок:What if robots could dream inside a video generative model? Introducing DreamGen, a new engine that ...

ИИ-резюме

DreamGen позволяет роботам «видеть сны» в моделях генерации видео и синтезировать обучающие данные. Дообучая модели вроде Sora, система генерирует массу нейронных траекторий (реалистичное видео плюс метки действий), и робот обобщает одну задачу подъёма и перемещения на 22 новых поведения, включая пересыпание и складывание. В кафе штаб-квартиры NVIDIA человекоподобный робот повысил zero-shot успешность на новых глаголах с 0% до 43%, в новой среде — до 28%. В отличие от традиционных графических движков, метод без ручного моделирования обрабатывает жидкости и деформируемые объекты; весь pipeline вскоре будет полностью открыт.

Ключевые моменты

  • DreamGen позволяет роботам «видеть сны» в моделях генерации видео и синтезировать обучающие данные.
  • Дообучая модели вроде Sora,система генерирует массу нейронных траекторий (реалистичное видео плюс…
  • В кафе штаб-квартиры NVIDIA человекоподобный робот повысил zero-shot успешность на новых глаголах…
  • В отличие от традиционных графических движков,метод без ручного моделирования обрабатывает…
  • весь pipeline вскоре будет полностью открыт.

Кратко

Опубликовано
Обновлено
Источник
X:Jim Fan (@DrJimFan)
Категория
Другое
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

NVIDIA 提出 DreamGen:让机器人在视频生成模型中「做梦」合成训练数据,实现强零样本泛化,将开源

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: DreamGen: роботы «видят сны» в моделях генерации видео и синтезируют обучающие данные. 20 мая 2025. https://new.nat6.net/ru/news/cmnw1ysuy0106slc325419zpu/

Смотреть все →