论文与研究

VideoFlexTok:可变长度粗到细视频分词

原文标题:VideoFlexTok: Flexible-Length Coarse-to-Fine Video Tokenization

AI 摘要

VideoFlexTok提出一种可变长度token序列的视频表示方法,采用粗到细结构——首个token捕捉语义和运动等抽象信息,后续token添加精细细节,生成流解码器支持任意token数量的视频重建。相比传统3D网格分词,该结构允许根据下游需求调整token数,在相同预算下编码更长视频。在类别和文本到视频生成任务中,VideoFlexTok以1.1B参数(5.2B的1/5)达到可比生成质量(gFVD和ViCLIP Score)。训练一个处理10秒81帧视频的文本到视频模型仅需672个token,比同等3D网格分词器少8倍。

关键信息

  • VideoFlexTok提出一种可变长度token序列的视频表示方法,采用粗到细结构——首个token捕捉语义和运动等抽象信息,后续token添加精细细节,生成流解码器支持任意token数量的视频重…
  • 相比传统3D网格分词,该结构允许根据下游需求调整token数,在相同预算下编码更长视频。
  • 在类别和文本到视频生成任务中,VideoFlexTok以1.
  • 2B的1/5)达到可比生成质量(gFVD和ViCLIP Score)。
  • 训练一个处理10秒81帧视频的文本到视频模型仅需672个token,比同等3D网格分词器少8倍

速览

发布时间
更新时间
来源
Apple Machine Learning Research(RSS)
分类
论文与研究
AI 评分
56
阅读原文 前往信息源阅读完整正文
推荐理由

把视频 tokenization 从固定网格改成变长 coarse-to-fine,训练效率提升明显,还能做更长的视频。研究角度挺漂亮,但离产品落地还有距离,做视频生成的可以追一下。

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:VideoFlexTok:可变长度粗到细视频分词。2026年7月2日。https://new.nat6.net/news/cmr3rd0l901busl7l11krygj3/

查看全部 →
  • RL微调VLM的鲁棒性与思维链一致性研究

    强化学习(RL)微调被扩展至视觉语言模型(VLM)。研究发现,简单的文本扰动——误导性标题或错误思维链(CoT)——会显著降低模型鲁棒性和置信度,且开源模型衰退更明显。闭源模型呈现类似失败模式,但鲁棒性和推理一致性更强。进一步分析揭示准确…

    Apple Machine Learning Research(RSS)论文与研究AI 评分 62

  • 多智能体团队阻碍专家发挥

    在自我组织的多智能体LLM系统中,团队无法有效利用专家成员的专业知识。在多个基准测试中,即使明确告知专家身份,团队表现仍落后于最佳成员(专家智能体)的独立能力,性能损失最高达41.1%。失败主因是未能有效利用专家意见,而非识别专家。对话分…

    Apple Machine Learning Research(RSS)论文与研究AI 评分 72

  • 阿里达摩院发布超导材料发现AI智能体Elements Claw

    7月3日,阿里达摩院联合中国人民大学、中国科学院大学发布首个超导材料发现AI智能体Elements Claw。该智能体采用“专通融合”架构,基于1.25亿分子/晶体结构预训练的1B参数原子基础模型Elements,判断超导性AUC达0.9…

    IT之家·人工智能论文与研究AI 评分 80