Autres

DreamGen : faire « rêver » les robots dans des modèles de génération vidéo pour synthétiser des données d'entraînement

Titre original:What if robots could dream inside a video generative model? Introducing DreamGen, a new engine that ...

Résumé IA

DreamGen fait « rêver » les robots dans des modèles de génération vidéo pour synthétiser des données d'entraînement. En affinant des modèles comme Sora pour générer des quantités massives de trajectoires neuronales (vidéos réalistes + étiquettes d'action), le robot généralise d'une simple tâche de saisie-dépose à 22 nouveaux comportements comme verser ou plier. Lors de tests dans le café du siège de NVIDIA, le taux de réussite zero-shot d'un robot humanoïde sur de nouveaux verbes est passé de 0 % à 43 %, et à 28 % dans de nouveaux environnements. Contrairement aux moteurs graphiques traditionnels, il gère sans modélisation manuelle des scènes complexes comme les fluides et les objets déformables ; l'ensemble du pipeline sera entièrement open source prochainement.

Points clés

  • DreamGen fait « rêver » les robots dans des modèles de génération vidéo pour synthétiser des…
  • En affinant des modèles comme Sora pour générer des quantités massives de trajectoires neuronales…
  • Lors de tests dans le café du siège de NVIDIA,le taux de réussite zero-shot d'un robot humanoïde…
  • Contrairement aux moteurs graphiques traditionnels,il gère sans modélisation manuelle des scènes…
  • l'ensemble du pipeline sera entièrement open source prochainement.

En bref

Publié
Mis à jour
Source
X:Jim Fan (@DrJimFan)
Catégorie
Autres
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

NVIDIA 提出 DreamGen:让机器人在视频生成模型中「做梦」合成训练数据,实现强零样本泛化,将开源

Entités associées

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : DreamGen : faire « rêver » les robots dans des modèles de génération vidéo pour synthétiser des données d'entraînement. 20. mai 2025. https://new.nat6.net/fr/news/cmnw1ysuy0106slc325419zpu/

Tout voir →