VideoFlexTok: Tokenisasi Video Kasar-ke-Halus dengan Panjang Boleh Ubah
Tajuk asal:VideoFlexTok: Flexible-Length Coarse-to-Fine Video Tokenization
Ringkasan AI
VideoFlexTok mencadangkan kaedah perwakilan video dengan jujukan token panjang boleh ubah, menggunakan struktur kasar-ke-halus—token pertama menangkap maklumat abstrak seperti semantik dan gerakan, token berikutnya menambah butiran halus, dan penyahkod aliran generatif menyokong pembinaan semula video dengan sebarang bilangan token. Berbanding tokenisasi grid 3D tradisional, struktur ini membolehkan bilangan token disesuaikan mengikut keperluan hiliran, dan mengekod video lebih panjang dengan belanjawan yang sama. Dalam tugas penjanaan video kategori dan teks-ke-video, VideoFlexTok mencapai kualiti penjanaan setanding (gFVD dan ViCLIP Score) dengan 1.1B parameter (1/5 daripada 5.2B). Melatih model teks-ke-video yang memproses video 10 saat 81 bingkai hanya memerlukan 672 token, 8 kali lebih sedikit daripada tokenizer grid 3D setara.
Maklumat penting
- VideoFlexTok mencadangkan kaedah perwakilan video dengan jujukan token panjang boleh…
- Berbanding tokenisasi grid 3D tradisional,struktur ini membolehkan bilangan token disesuaikan…
- Dalam tugas penjanaan video kategori dan teks-ke-video,VideoFlexTok mencapai kualiti penjanaan…
- 1B parameter (1/5 daripada 5.
- Melatih model teks-ke-video yang memproses video 10 saat 81 bingkai hanya memerlukan 672 token,8…
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Kategori
- Kertas penyelidikan
- Skor AI
- 56
把视频 tokenization 从固定网格改成变长 coarse-to-fine,训练效率提升明显,还能做更长的视频。研究角度挺漂亮,但离产品落地还有距离,做视频生成的可以追一下。
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: VideoFlexTok: Tokenisasi Video Kasar-ke-Halus dengan Panjang Boleh Ubah. 2 Julai 2026. https://new.nat6.net/ms/news/cmr3rd0l901busl7l11krygj3/