Статьи и исследования

VideoFlexTok: токенизация видео переменной длины от грубого к детальному

Оригинальный заголовок:VideoFlexTok: Flexible-Length Coarse-to-Fine Video Tokenization

ИИ-резюме

VideoFlexTok предлагает метод представления видео в виде последовательностей токенов переменной длины с грубой-к-детальной структурой: первый токен захватывает абстрактную информацию, такую как семантика и движение, последующие токены добавляют мелкие детали, а потоковый декодер поддерживает реконструкцию видео с любым числом токенов. В отличие от традиционной токенизации на 3D-сетке, эта структура позволяет адаптировать число токенов под нижестоящие задачи и кодировать более длинные видео при том же бюджете. В задачах генерации видео по классу и тексту VideoFlexTok с 1,1 млрд параметров (1/5 от 5,2 млрд) достигает сопоставимого качества генерации (gFVD и ViCLIP Score). Обучение текстово-видеомодели, обрабатывающей 10-секундное видео из 81 кадра, требует всего 672 токенов — в 8 раз меньше, чем у аналогичного токенизатора на 3D-сетке.

Ключевые моменты

  • VideoFlexTok предлагает метод представления видео в виде последовательностей токенов переменной…
  • В отличие от традиционной токенизации на 3D-сетке,эта структура позволяет адаптировать число…
  • В задачах генерации видео по классу и тексту VideoFlexTok с 1,1 млрд параметров (1/5 от 5,2 млрд)…
  • Обучение текстово-видеомодели,обрабатывающей 10-секундное видео из 81 кадра,требует всего 672…

Кратко

Опубликовано
Обновлено
Источник
Apple Machine Learning Research(RSS)
Категория
Статьи и исследования
Оценка ИИ
56
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

把视频 tokenization 从固定网格改成变长 coarse-to-fine,训练效率提升明显,还能做更长的视频。研究角度挺漂亮,但离产品落地还有距离,做视频生成的可以追一下。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: VideoFlexTok: токенизация видео переменной длины от грубого к детальному. 2 июля 2026. https://new.nat6.net/ru/news/cmr3rd0l901busl7l11krygj3/

Смотреть все →