VideoFlexTok : tokenisation vidéo à longueur variable, du grossier au fin
Titre original:VideoFlexTok: Flexible-Length Coarse-to-Fine Video Tokenization
Résumé IA
VideoFlexTok propose une représentation vidéo sous forme de séquences de tokens de longueur variable, selon une structure du grossier au fin : le premier token capture des informations abstraites comme la sémantique et le mouvement, les suivants ajoutent des détails fins, et un décodeur génératif permet la reconstruction vidéo avec un nombre arbitraire de tokens. Contrairement à la tokenisation 3D par grille classique, cette structure permet d'ajuster le nombre de tokens selon les besoins aval et d'encoder des vidéos plus longues à budget égal. Pour la génération conditionnée par catégorie et par texte, VideoFlexTok atteint une qualité comparable (gFVD et ViCLIP Score) avec 1,1 milliard de paramètres (un cinquième de 5,2 milliards). L'entraînement d'un modèle texte-vers-vidéo traitant des vidéos de 10 secondes à 81 images ne nécessite que 672 tokens, soit 8 fois moins qu'un tokeniseur 3D par grille équivalent.
Points clés
- VideoFlexTok propose une représentation vidéo sous forme de séquences de tokens de longueur…
- Contrairement à la tokenisation 3D par grille classique,cette structure permet d'ajuster le nombre…
- Pour la génération conditionnée par catégorie et par texte,VideoFlexTok atteint une qualité…
- L'entraînement d'un modèle texte-vers-vidéo traitant des vidéos de 10 secondes à 81 images ne…
En bref
- Publié
- Mis à jour
- Catégorie
- Articles et recherche
- Score IA
- 56
把视频 tokenization 从固定网格改成变长 coarse-to-fine,训练效率提升明显,还能做更长的视频。研究角度挺漂亮,但离产品落地还有距离,做视频生成的可以追一下。
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : VideoFlexTok : tokenisation vidéo à longueur variable, du grossier au fin. 2. juillet 2026. https://new.nat6.net/fr/news/cmr3rd0l901busl7l11krygj3/