VideoFlexTok: Tokenisasi Video Variabel-Panjang dari Kasar ke Halus
Judul asli:VideoFlexTok: Flexible-Length Coarse-to-Fine Video Tokenization
Ringkasan AI
VideoFlexTok mengusulkan metode representasi video berupa urutan token dengan panjang variabel, menggunakan struktur dari kasar ke halus—token pertama menangkap informasi abstrak seperti semantik dan gerakan, token berikutnya menambahkan detail halus, dan decoder aliran generatif mendukung rekonstruksi video dengan jumlah token berapa pun. Dibandingkan tokenisasi grid 3D konvensional, struktur ini memungkinkan penyesuaian jumlah token sesuai kebutuhan hilir dan mengodekan video lebih panjang dengan anggaran yang sama. Pada tugas generasi kategori dan teks-ke-video, VideoFlexTok dengan 1,1B parameter (1/5 dari 5,2B) mencapai kualitas generasi yang sebanding (gFVD dan ViCLIP Score). Melatih model teks-ke-video yang memproses video 10 detik 81 frame hanya memerlukan 672 token, 8 kali lebih sedikit daripada tokenizer grid 3D setara.
Poin utama
- VideoFlexTok mengusulkan metode representasi video berupa urutan token dengan panjang…
- Dibandingkan tokenisasi grid 3D konvensional,struktur ini memungkinkan penyesuaian jumlah token…
- Pada tugas generasi kategori dan teks-ke-video,VideoFlexTok dengan 1,1B parameter (1/5 dari 5,2B)…
- Melatih model teks-ke-video yang memproses video 10 detik 81 frame hanya memerlukan 672 token,8…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Kategori
- Makalah & Riset
- Skor AI
- 56
把视频 tokenization 从固定网格改成变长 coarse-to-fine,训练效率提升明显,还能做更长的视频。研究角度挺漂亮,但离产品落地还有距离,做视频生成的可以追一下。
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: VideoFlexTok: Tokenisasi Video Variabel-Panjang dari Kasar ke Halus. 2 Juli 2026. https://new.nat6.net/id/news/cmr3rd0l901busl7l11krygj3/