Bài báo & nghiên cứu

VideoFlexTok: phân đoạn video từ thô đến tinh có độ dài thay đổi

Tiêu đề gốc:VideoFlexTok: Flexible-Length Coarse-to-Fine Video Tokenization

Tóm tắt AI

VideoFlexTok đề xuất phương pháp biểu diễn video bằng chuỗi token độ dài thay đổi, áp dụng cấu trúc từ thô đến tinh — token đầu tiên nắm bắt thông tin trừu tượng như ngữ nghĩa và chuyển động, các token sau bổ sung chi tiết tinh, bộ giải mã luồng sinh hỗ trợ tái tạo video với số lượng token tùy ý. So với phân đoạn lưới 3D truyền thống, cấu trúc này cho phép điều chỉnh số token theo nhu cầu hạ nguồn, mã hóa video dài hơn với cùng ngân sách. Trong tác vụ sinh video từ lớp và văn bản, VideoFlexTok với 1,1B tham số (1/5 của 5,2B) đạt chất lượng sinh tương đương (gFVD và ViCLIP Score). Huấn luyện một mô hình văn bản sang video xử lý video 10 giây 81 khung chỉ cần 672 token, ít hơn 8 lần so với bộ phân đoạn lưới 3D tương đương.

Thông tin chính

  • VideoFlexTok đề xuất phương pháp biểu diễn video bằng chuỗi token độ dài thay đổi,áp dụng cấu trúc…
  • So với phân đoạn lưới 3D truyền thống,cấu trúc này cho phép điều chỉnh số token theo nhu cầu hạ…
  • Trong tác vụ sinh video từ lớp và văn bản,VideoFlexTok với 1,1B tham số (1/5 của 5,2B) đạt chất…
  • Huấn luyện một mô hình văn bản sang video xử lý video 10 giây 81 khung chỉ cần 672 token,ít hơn 8…

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
Apple Machine Learning Research(RSS)
Danh mục
Bài báo & nghiên cứu
Điểm AI
56
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

把视频 tokenization 从固定网格改成变长 coarse-to-fine,训练效率提升明显,还能做更长的视频。研究角度挺漂亮,但离产品落地还有距离,做视频生成的可以追一下。

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: VideoFlexTok: phân đoạn video từ thô đến tinh có độ dài thay đổi. 2 tháng 7 2026. https://new.nat6.net/vi/news/cmr3rd0l901busl7l11krygj3/

Xem tất cả →