Multi-object Video Generation from Single Frame Layouts

要約

本稿では、生成条件の簡略化に重点を置いて映像合成を検討する。
既存のビデオ合成モデルやデータセットのほとんどは、単一オブジェクトの複雑な動きに対処するように設計されており、複数のオブジェクト間の時空間関係を包括的に理解する機能が不足しています。
さらに、現在の方法は通常、新しいビデオを生成するために複雑な注釈 (ビデオのセグメンテーションなど) を条件としており、根本的に実用的ではありません。
これらは、単一フレームからのオブジェクト レイアウトのみを条件付けしたマルチオブジェクト ビデオを生成する動機となります。
上記の課題を解決するために、レイアウトからの画像生成に関する最近の研究に触発され、暗黙的なニューラル表現とレイアウト動作の自己推論を介して、グローバル シーンとローカル オブジェクトを合成できる新しいビデオ生成フレームワークを提案しました。
私たちのフレームワークは、画像生成方法を簡単に応用したものであり、この分野では新しいものです。
さらに、私たちのモデルは広く使用されている 2 つのビデオ認識ベンチマークで評価されており、ベースライン モデルと比較して有効性が実証されています。

要約(オリジナル)

In this paper, we study video synthesis with emphasis on simplifying the generation conditions. Most existing video synthesis models or datasets are designed to address complex motions of a single object, lacking the ability of comprehensively understanding the spatio-temporal relationships among multiple objects. Besides, current methods are usually conditioned on intricate annotations (e.g. video segmentations) to generate new videos, being fundamentally less practical. These motivate us to generate multi-object videos conditioning exclusively on object layouts from a single frame. To solve above challenges and inspired by recent research on image generation from layouts, we have proposed a novel video generative framework capable of synthesizing global scenes with local objects, via implicit neural representations and layout motion self-inference. Our framework is a non-trivial adaptation from image generation methods, and is new to this field. In addition, our model has been evaluated on two widely-used video recognition benchmarks, demonstrating effectiveness compared to the baseline model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google