InfiniteNature-Zero: Learning Perpetual View Generation of Natural Scenes from Single Images

要約

カメラのポーズや各シーンの複数のビューを必要とせずに、単一の写真のコレクションからこの機能を学習する、単一のビューから開始する自然シーンの無制限のフライスルービデオを生成する方法を紹介します。
これを実現するために、新しい自己教師ありビュー生成トレーニングパラダイムを提案します。このパラダイムでは、周期的なものを含む仮想カメラの軌跡をサンプリングしてレンダリングし、モデルが単一のビューのコレクションから安定したビュー生成を学習できるようにします。
テスト時には、トレーニング中にビデオを見たことがないにもかかわらず、私たちのアプローチは単一の画像を撮影し、現実的で多様なコンテンツを含む何百もの新しいビューで構成される長いカメラ軌道を生成できます。
私たちのアプローチを、ポーズをとったマルチビュービデオを必要とし、優れたパフォーマンスと合成品質を実証する最近の最先端の監視付きビュー生成方法と比較します。

要約(オリジナル)

We present a method for learning to generate unbounded flythrough videos of natural scenes starting from a single view, where this capability is learned from a collection of single photographs, without requiring camera poses or even multiple views of each scene. To achieve this, we propose a novel self-supervised view generation training paradigm, where we sample and rendering virtual camera trajectories, including cyclic ones, allowing our model to learn stable view generation from a collection of single views. At test time, despite never seeing a video during training, our approach can take a single image and generate long camera trajectories comprised of hundreds of new views with realistic and diverse content. We compare our approach with recent state-of-the-art supervised view generation methods that require posed multi-view videos and demonstrate superior performance and synthesis quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google