VideoFlexTok:可变长度粗到细视频分词
原文标题:VideoFlexTok: Flexible-Length Coarse-to-Fine Video Tokenization
AI 摘要
VideoFlexTok提出一种可变长度token序列的视频表示方法,采用粗到细结构——首个token捕捉语义和运动等抽象信息,后续token添加精细细节,生成流解码器支持任意token数量的视频重建。相比传统3D网格分词,该结构允许根据下游需求调整token数,在相同预算下编码更长视频。在类别和文本到视频生成任务中,VideoFlexTok以1.1B参数(5.2B的1/5)达到可比生成质量(gFVD和ViCLIP Score)。训练一个处理10秒81帧视频的文本到视频模型仅需672个token,比同等3D网格分词器少8倍。
关键信息
- VideoFlexTok提出一种可变长度token序列的视频表示方法,采用粗到细结构——首个token捕捉语义和运动等抽象信息,后续token添加精细细节,生成流解码器支持任意token数量的视频重…
- 相比传统3D网格分词,该结构允许根据下游需求调整token数,在相同预算下编码更长视频。
- 在类别和文本到视频生成任务中,VideoFlexTok以1.
- 2B的1/5)达到可比生成质量(gFVD和ViCLIP Score)。
- 训练一个处理10秒81帧视频的文本到视频模型仅需672个token,比同等3D网格分词器少8倍
速览
- 发布时间
- 更新时间
- 分类
- 论文与研究
- AI 评分
- 56
推荐理由
把视频 tokenization 从固定网格改成变长 coarse-to-fine,训练效率提升明显,还能做更长的视频。研究角度挺漂亮,但离产品落地还有距离,做视频生成的可以追一下。
来源与版权
本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。
如何引用
引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。
橙子新闻:VideoFlexTok:可变长度粗到细视频分词。2026年7月2日。https://new.nat6.net/news/cmr3rd0l901busl7l11krygj3/