VideoFlexTok: Videotokenisierung mit variabler Länge von grob zu fein
Originaltitel:VideoFlexTok: Flexible-Length Coarse-to-Fine Video Tokenization
KI-Zusammenfassung
VideoFlexTok schlägt eine Videorepräsentation mit Token-Sequenzen variabler Länge vor, die eine Grob-zu-Fein-Struktur nutzt: Das erste Token erfasst abstrakte Informationen wie Semantik und Bewegung, nachfolgende Tokens fügen feine Details hinzu, und ein generativer Flow-Decoder unterstützt die Videorekonstruktion mit beliebiger Token-Anzahl. Im Vergleich zur herkömmlichen 3D-Grid-Tokenisierung erlaubt diese Struktur die Anpassung der Token-Anzahl an nachgelagerte Anforderungen und die Kodierung längerer Videos bei gleichem Budget. Bei Kategorie- und Text-zu-Video-Generierungsaufgaben erreicht VideoFlexTok mit 1,1 Milliarden Parametern (ein Fünftel von 5,2 Milliarden) eine vergleichbare Generierungsqualität (gFVD und ViCLIP Score). Das Training eines Text-zu-Video-Modells für 10-Sekunden-Videos mit 81 Frames benötigt nur 672 Tokens, achtmal weniger als ein vergleichbarer 3D-Grid-Tokenizer.
Kernpunkte
- VideoFlexTok schlägt eine Videorepräsentation mit Token-Sequenzen variabler Länge vor,die eine…
- Im Vergleich zur herkömmlichen 3D-Grid-Tokenisierung erlaubt diese Struktur die Anpassung der…
- Bei Kategorie- und Text-zu-Video-Generierungsaufgaben erreicht VideoFlexTok mit 1,1 Milliarden…
- Das Training eines Text-zu-Video-Modells für 10-Sekunden-Videos mit 81 Frames benötigt nur 672…
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Kategorie
- Papers & Forschung
- KI-Bewertung
- 56
把视频 tokenization 从固定网格改成变长 coarse-to-fine,训练效率提升明显,还能做更长的视频。研究角度挺漂亮,但离产品落地还有距离,做视频生成的可以追一下。
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: VideoFlexTok: Videotokenisierung mit variabler Länge von grob zu fein. 2. Juli 2026. https://new.nat6.net/de/news/cmr3rd0l901busl7l11krygj3/