Patch-based Object-centric Transformers for Efficient Video Generation

要約

この研究では、オブジェクト中心の情報を利用して、ビデオの時間的ダイナミクスを効率的にモデル化する新しいリージョンベースのビデオ生成アーキテクチャであるパッチベースのオブジェクト中心ビデオトランスフォーマー（POVT）を紹介します。我々は、圧縮されたビデオの離散潜在空間上の自己回帰変換器によるビデオ予測における先行研究を基に、バウンディングボックスによるオブジェクト中心の情報をモデル化するための修正を加えたものである。オブジェクト中心の表現は圧縮性が高いため、より長い水平方向の時間情報に対してのみオブジェクト情報にアクセスできるようにすることで、学習効率を向上させることができる。様々な難しいオブジェクト中心のデータセットで評価したところ、我々の手法は他の動画像生成モデルと同等以上の性能を達成し、かつ計算効率とスケーラビリティを維持している。さらに、本手法はバウンディングボックス操作によりオブジェクト中心の制御が可能であることを示し、ビデオ編集やビジュアルプランニングなどの下流タスクに役立つ可能性があることを示す。サンプルはhttps://sites.google.com/view/povt-public}{https://sites.google.com/view/povt-public}で入手可能です。

要約(オリジナル)

In this work, we present Patch-based Object-centric Video Transformer (POVT), a novel region-based video generation architecture that leverages object-centric information to efficiently model temporal dynamics in videos. We build upon prior work in video prediction via an autoregressive transformer over the discrete latent space of compressed videos, with an added modification to model object-centric information via bounding boxes. Due to better compressibility of object-centric representations, we can improve training efficiency by allowing the model to only access object information for longer horizon temporal information. When evaluated on various difficult object-centric datasets, our method achieves better or equal performance to other video generation models, while remaining computationally more efficient and scalable. In addition, we show that our method is able to perform object-centric controllability through bounding box manipulation, which may aid downstream tasks such as video editing, or visual planning. Samples are available at https://sites.google.com/view/povt-public}{https://sites.google.com/view/povt-public

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL