3D-Aware Video Generation

要約

生成モデルは、多くの画像合成および編集タスクに不可欠な構成要素として浮上しています。
この分野における最近の進歩により、マルチビューまたは時間的一貫性のいずれかを示す高品質の3Dまたはビデオコンテンツを生成することも可能になりました。
私たちの仕事では、3D対応ビデオの無条件生成を学習する4D生成的敵対的ネットワーク（GAN）を探索します。
ニューラル暗黙表現と時間認識弁別器を組み合わせることにより、単眼ビデオのみで監視される3Dビデオを合成するGANフレームワークを開発します。
私たちの方法は、分解可能な3D構造とモーションの豊富な埋め込みを学習し、既存の3DまたはビデオGANと同等の品質の画像を生成しながら、時空間レンダリングの新しい視覚効果を可能にすることを示します。

要約(オリジナル)

Generative models have emerged as an essential building block for many image synthesis and editing tasks. Recent advances in this field have also enabled high-quality 3D or video content to be generated that exhibits either multi-view or temporal consistency. With our work, we explore 4D generative adversarial networks (GANs) that learn unconditional generation of 3D-aware videos. By combining neural implicit representations with time-aware discriminator, we develop a GAN framework that synthesizes 3D video supervised only with monocular videos. We show that our method learns a rich embedding of decomposable 3D structures and motions that enables new visual effects of spatio-temporal renderings while producing imagery with quality comparable to that of existing 3D or video GANs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google