Kertas penyelidikan

VideoFlexTok: Tokenisasi Video Kasar-ke-Halus dengan Panjang Boleh Ubah

Tajuk asal:VideoFlexTok: Flexible-Length Coarse-to-Fine Video Tokenization

Ringkasan AI

VideoFlexTok mencadangkan kaedah perwakilan video dengan jujukan token panjang boleh ubah, menggunakan struktur kasar-ke-halus—token pertama menangkap maklumat abstrak seperti semantik dan gerakan, token berikutnya menambah butiran halus, dan penyahkod aliran generatif menyokong pembinaan semula video dengan sebarang bilangan token. Berbanding tokenisasi grid 3D tradisional, struktur ini membolehkan bilangan token disesuaikan mengikut keperluan hiliran, dan mengekod video lebih panjang dengan belanjawan yang sama. Dalam tugas penjanaan video kategori dan teks-ke-video, VideoFlexTok mencapai kualiti penjanaan setanding (gFVD dan ViCLIP Score) dengan 1.1B parameter (1/5 daripada 5.2B). Melatih model teks-ke-video yang memproses video 10 saat 81 bingkai hanya memerlukan 672 token, 8 kali lebih sedikit daripada tokenizer grid 3D setara.

Maklumat penting

  • VideoFlexTok mencadangkan kaedah perwakilan video dengan jujukan token panjang boleh…
  • Berbanding tokenisasi grid 3D tradisional,struktur ini membolehkan bilangan token disesuaikan…
  • Dalam tugas penjanaan video kategori dan teks-ke-video,VideoFlexTok mencapai kualiti penjanaan…
  • 1B parameter (1/5 daripada 5.
  • Melatih model teks-ke-video yang memproses video 10 saat 81 bingkai hanya memerlukan 672 token,8…

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
Apple Machine Learning Research(RSS)
Kategori
Kertas penyelidikan
Skor AI
56
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

把视频 tokenization 从固定网格改成变长 coarse-to-fine,训练效率提升明显,还能做更长的视频。研究角度挺漂亮,但离产品落地还有距离,做视频生成的可以追一下。

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: VideoFlexTok: Tokenisasi Video Kasar-ke-Halus dengan Panjang Boleh Ubah. 2 Julai 2026. https://new.nat6.net/ms/news/cmr3rd0l901busl7l11krygj3/

Lihat Semua →