VideoFlexTok: การแบ่งโทเคนวิดีโอแบบความยาวแปรผันจากหยาบไปละเอียด
หัวข้อต้นฉบับ:VideoFlexTok: Flexible-Length Coarse-to-Fine Video Tokenization
สรุปโดย AI
VideoFlexTok เสนอวิธีการแสดงวิดีโอด้วยลำดับโทเคนความยาวแปรผัน ใช้โครงสร้างจากหยาบไปละเอียด โทเคนแรกจับข้อมูลนามธรรมเช่นความหมายและการเคลื่อนไหว โทเคนถัดไปเพิ่มรายละเอียดปลีกย่อย ตัวถอดรหัสแบบสร้างสรรค์รองรับการสร้างวิดีโอใหม่ด้วยจำนวนโทเคนใดก็ได้ เทียบกับการแบ่งโทเคนแบบ 3D mesh แบบเดิม โครงสร้างนี้ปรับจำนวนโทเคนตามความต้องการปลายทางได้ เข้ารหัสวิดีโอที่ยาวขึ้นด้วยงบประมาณเท่ากัน ในงานสร้างวิดีโอตามหมวดหมู่และตามข้อความ VideoFlexTok ด้วยพารามิเตอร์ 1.1B (1/5 ของ 5.2B) บรรลุคุณภาพการสร้างเทียบเคียงได้ (gFVD และ ViCLIP Score) การฝึกโมเดลข้อความเป็นวิดีโอที่ประมวลผลวิดีโอ 10 วินาที 81 เฟรมใช้เพียง 672 โทเคน น้อยกว่าตัวแบ่งโทเคน 3D mesh ที่เทียบเท่า 8 เท่า
ข้อมูลสำคัญ
- VideoFlexTok เสนอวิธีการแสดงวิดีโอด้วยลำดับโทเคนความยาวแปรผัน ใช้โครงสร้างจากหยาบไปละเอียด…
- 1B (1/5 ของ 5.
- 2B) บรรลุคุณภาพการสร้างเทียบเคียงได้ (gFVD และ ViCLIP Score)…
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- Apple Machine Learning Research(RSS)
- หมวดหมู่
- บทความและงานวิจัย
- คะแนน AI
- 56
把视频 tokenization 从固定网格改成变长 coarse-to-fine,训练效率提升明显,还能做更长的视频。研究角度挺漂亮,但离产品落地还有距离,做视频生成的可以追一下。
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: VideoFlexTok: การแบ่งโทเคนวิดีโอแบบความยาวแปรผันจากหยาบไปละเอียด 2 กรกฎาคม 2026 https://new.nat6.net/th/news/cmr3rd0l901busl7l11krygj3/