VideoFlexTok: variable-length coarse-to-fine video tokenization
Orihinal na pamagat:VideoFlexTok: Flexible-Length Coarse-to-Fine Video Tokenization
AI summary
Iminumungkahi ng VideoFlexTok ang isang video representation method na may variable-length token sequence, gamit ang coarse-to-fine structure—ang unang token ay kumukuha ng abstract information tulad ng semantics at motion, ang mga sumunod na token ay nagdadagdag ng fine details, at sinusuportahan ng generative flow decoder ang video reconstruction na may anumang bilang ng token. Kumpara sa tradisyonal na 3D grid tokenization, pinapayagan ng structure na ito na i-adjust ang token count ayon sa downstream na pangangailangan, at mag-encode ng mas mahabang video sa parehong budget. Sa category at text-to-video generation task, naabot ng VideoFlexTok ang comparable generation quality (gFVD at ViCLIP Score) gamit ang 1.1B parameter (1/5 ng 5.2B). Ang pagsasanay ng text-to-video model na humahawak ng 10-second 81-frame video ay nangangailangan lamang ng 672 token, na 8 beses na mas kaunti kaysa sa katumbas na 3D grid tokenizer.
Mahahalagang impormasyon
- Iminumungkahi ng VideoFlexTok ang isang video representation method na may variable-length token…
- Kumpara sa tradisyonal na 3D grid tokenization,pinapayagan ng structure na ito na i-adjust ang…
- Sa category at text-to-video generation task,naabot ng VideoFlexTok ang comparable generation…
- 1B parameter (1/5 ng 5.
- Ang pagsasanay ng text-to-video model na humahawak ng 10-second 81-frame video ay nangangailangan…
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- Apple Machine Learning Research(RSS)
- Kategorya
- Mga Papel at Pananaliksik
- AI na marka
- 56
把视频 tokenization 从固定网格改成变长 coarse-to-fine,训练效率提升明显,还能做更长的视频。研究角度挺漂亮,但离产品落地还有距离,做视频生成的可以追一下。
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: VideoFlexTok: variable-length coarse-to-fine video tokenization. 2 Hulyo 2026. https://new.nat6.net/fil/news/cmr3rd0l901busl7l11krygj3/