其他

DreamGen:让机器人在视频生成模型中"做梦"合成训练数据

原文标题:What if robots could dream inside a video generative model? Introducing DreamGen, a new engine that ...

AI 摘要

DreamGen让机器人在视频生成模型中"做梦"合成训练数据。通过微调Sora等模型生成海量神经轨迹(逼真视频+动作标签),机器人从单一拾取放置任务泛化到倾倒、折叠等22种新行为。在NVIDIA总部咖啡厅测试中,人形机器人对新动词零样本成功率从0%提升至43%,新环境达28%。相比传统图形引擎,无需手工建模即可处理流体、可变形物体等复杂场景,整个pipeline将于近期完全开源。

关键信息

  • DreamGen让机器人在视频生成模型中"做梦"合成训练数据。
  • 通过微调Sora等模型生成海量神经轨迹(逼真视频+动作标签),机器人从单一拾取放置任务泛化到倾倒、折叠等22种新行为。
  • 在NVIDIA总部咖啡厅测试中,人形机器人对新动词零样本成功率从0%提升至43%,新环境达28%。
  • 相比传统图形引擎,无需手工建模即可处理流体、可变形物体等复杂场景,整个pipeline将于近期完全开源
  • NVIDIA 提出 DreamGen:让机器人在视频生成模型中「做梦」合成训练数据,实现强零样本泛化,将开源

速览

发布时间
更新时间
来源
X:Jim Fan (@DrJimFan)
分类
其他
阅读原文 前往信息源阅读完整正文
推荐理由

NVIDIA 提出 DreamGen:让机器人在视频生成模型中「做梦」合成训练数据,实现强零样本泛化,将开源

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:DreamGen:让机器人在视频生成模型中"做梦"合成训练数据。2025年5月20日。https://new.nat6.net/news/cmnw1ysuy0106slc325419zpu/

查看全部 →
  • 将Agent封装为MCP服务器示例

    MCP Agent Server示例展示了将Agent工作流封装为MCP服务器的"Agent即服务"架构。提供asyncio(轻量级内存执行,适合开发测试)和Temporal(生产级持久化、支持暂停恢复)两种实现。通过装饰器暴露Agent…

    Hacker News:AI 热帖其他

  • 构建通用 AI 助手的愿景

    Google 计划将 Gemini 扩展为世界模型,使其能够通过模拟世界来制定计划和想象新体验,从而实现通用 AI 助手的愿景。

    Google DeepMind:Blog(RSS)其他

  • 让AI落地:领导力、实验室与群体智慧

    企业AI成功落地依赖三大支柱:领导力确保战略对齐,实验室孵化具体用例,群体智慧(众包)汇聚一线洞察。三者协同构成可复制的AI应用框架。

    Ethan Mollick:One Useful Thing(RSS)其他

  • 以全新生成式媒体模型与工具激发创意

    发布新一代生成式媒体模型 Veo 3 与 Imagen 4,以及专为电影制作打造的工具 Flow,支持更高质量的视频与图像生成及专业影视创作流程。

    Google DeepMind:Blog(RSS)其他

  • AI 近期发展史:32 只水獭版

    以 32 只水獭为主角,通过海洋哺乳动物视角回顾 AI 过去三年技术进展,用轻松方式呈现模型迭代与行业突破。

    Ethan Mollick:One Useful Thing(RSS)其他