Learning Adaptive and Temporally Causal Video Tokenization in a 1D Latent Space

要約

ビデオコンテンツに基づいてさまざまなフレームにトークンを柔軟に割り当てることができる適応的な時間的因果ビデオトークンザーであるAdaptokを提案します。
Adaptokには、トレーニング中に各ブロックのテールトークンをランダムにドロップするブロックのマスキング戦略と、さまざまな数のトークンを使用してビデオフレームの再構成品質を予測するブロック因果スコアラーが装備されています。
推論中、整数線形プログラミングに基づく適応トークン割り当て戦略がさらに提案され、予測されたスコアを与えられたトークンの使用を調整します。
このようなデザインは、制御可能な全体的な予算の下でのサンプルごと、コンテンツを認識し、一時的に動的なトークン割り当てを可能にします。
UCF-101およびQuinetics-600でのビデオ再構成と生成のための広範な実験は、私たちのアプローチの有効性を示しています。
追加の画像データがなければ、Adaptokはさまざまなトークン予算の下で再構成の品質と生成のパフォーマンスを一貫して改善し、よりスケーラブルでトークン効率の高い生成ビデオモデリングを可能にします。

要約(オリジナル)

We propose AdapTok, an adaptive temporal causal video tokenizer that can flexibly allocate tokens for different frames based on video content. AdapTok is equipped with a block-wise masking strategy that randomly drops tail tokens of each block during training, and a block causal scorer to predict the reconstruction quality of video frames using different numbers of tokens. During inference, an adaptive token allocation strategy based on integer linear programming is further proposed to adjust token usage given predicted scores. Such design allows for sample-wise, content-aware, and temporally dynamic token allocation under a controllable overall budget. Extensive experiments for video reconstruction and generation on UCF-101 and Kinetics-600 demonstrate the effectiveness of our approach. Without additional image data, AdapTok consistently improves reconstruction quality and generation performance under different token budgets, allowing for more scalable and token-efficient generative video modeling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google