Persistent Nature: A Generative Model of Unbounded 3D Worlds

要約

ますます現実的な画質にもかかわらず、最近の 3D 画像生成モデルは、カメラの動きが制限された固定範囲の 3D ボリュームで動作することがよくあります。
無限の自然シーンを無条件に合成し、永続的な 3D 世界モデルを維持しながら任意に大きなカメラの動きを可能にするタスクを調査します。
シーン表現は、3D デコーダーとボリューム レンダリングを介して任意のカメラ ポーズからレンダリングできる拡張可能な平面シーン レイアウト グリッドと、パノラマ スカイドームで構成されます。
この表現に基づいて、単一ビューのインターネット写真のみから生成世界モデルを学習します。
この方法により、3D ランドスケープを通る長時間の飛行をシミュレートしながら、グローバルなシーンの一貫性を維持できます。たとえば、出発点に戻ると、シーンの同じビューが得られます。
私たちのアプローチは、現在の 3D 生成モデルの固定境界を超えたシーン外挿を可能にすると同時に、自己回帰 3D 予測モデルとは対照的な永続的でカメラに依存しない世界表現もサポートします。
私たちのプロジェクト ページ: https://chail.github.io/persistent-nature/。

要約(オリジナル)

Despite increasingly realistic image quality, recent 3D image generative models often operate on 3D volumes of fixed extent with limited camera motions. We investigate the task of unconditionally synthesizing unbounded nature scenes, enabling arbitrarily large camera motion while maintaining a persistent 3D world model. Our scene representation consists of an extendable, planar scene layout grid, which can be rendered from arbitrary camera poses via a 3D decoder and volume rendering, and a panoramic skydome. Based on this representation, we learn a generative world model solely from single-view internet photos. Our method enables simulating long flights through 3D landscapes, while maintaining global scene consistency–for instance, returning to the starting point yields the same view of the scene. Our approach enables scene extrapolation beyond the fixed bounds of current 3D generative models, while also supporting a persistent, camera-independent world representation that stands in contrast to auto-regressive 3D prediction models. Our project page: https://chail.github.io/persistent-nature/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google