Artículos e investigación

VideoFlexTok: tokenización de vídeo de longitud variable de grueso a fino

Título original:VideoFlexTok: Flexible-Length Coarse-to-Fine Video Tokenization

Resumen de IA

VideoFlexTok propone un método de representación de vídeo mediante secuencias de tokens de longitud variable con una estructura de grueso a fino: el primer token captura información abstracta como semántica y movimiento, y los tokens posteriores añaden detalles finos, con un decodificador generativo que permite reconstruir vídeo con cualquier número de tokens. Frente a la tokenización tradicional en malla 3D, esta estructura permite ajustar el número de tokens según las necesidades posteriores y codificar vídeos más largos con el mismo presupuesto. En tareas de generación de vídeo por categoría y texto a vídeo, VideoFlexTok alcanza una calidad de generación comparable (gFVD y ViCLIP Score) con 1,1B parámetros (una quinta parte de 5,2B). Entrenar un modelo de texto a vídeo que procesa vídeos de 10 segundos y 81 fotogramas solo requiere 672 tokens, 8 veces menos que un tokenizador de malla 3D equivalente.

Puntos clave

  • VideoFlexTok propone un método de representación de vídeo mediante secuencias de tokens de…
  • Frente a la tokenización tradicional en malla 3D,esta estructura permite ajustar el número de…
  • En tareas de generación de vídeo por categoría y texto a vídeo,VideoFlexTok alcanza una calidad de…
  • Entrenar un modelo de texto a vídeo que procesa vídeos de 10 segundos y 81 fotogramas solo…

Resumen rápido

Publicado
Actualizado
Fuente
Apple Machine Learning Research(RSS)
Categoría
Artículos e investigación
Puntuación IA
56
Leer el original Leer el artículo completo en la fuente original
Por qué importa

把视频 tokenization 从固定网格改成变长 coarse-to-fine,训练效率提升明显,还能做更长的视频。研究角度挺漂亮,但离产品落地还有距离,做视频生成的可以追一下。

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: VideoFlexTok: tokenización de vídeo de longitud variable de grueso a fino. 2. julio 2026. https://new.nat6.net/es/news/cmr3rd0l901busl7l11krygj3/

Ver todo →