SceneDreamer: Unbounded 3D Scene Generation from 2D Image Collections

要約

タイトル：SceneDreamer：2D画像コレクションからの非境界3Dシーン生成

要約：
-SceneDreamerは、ランダムノイズから大規模な3D風景を合成する、非条件付け生成モデル。
-SceneDreamerのフレームワークは、3Dアノテーションを必要とせず、野生の2D画像コレクションから学習される。
-SceneDreamerの中心には、効率的で表現力豊かな3Dシーン表現、生成シーンのパラメータ化、あるいは2D画像からの知識を活用できる効果的なレンダラが含まれている。
-SceneDreamerの手法は、シンプレックスノイズから生成された効率的な鳥瞰図（BEV）表現から始まり、それには表面高度のための高さフィールドと詳細なシーン意味のための意味フィールドが含まれている。
-このBEVシーン表現により、3Dシーンを2乗の複雑さで表現でき、幾何学と意味が分離され、効率的な訓練ができます。
-さらに、私たちは、一般化された特徴をエンコードすることを目的として、3D位置とシーンの意味に基づいて潜在空間をパラメータ化する新しい生成的ニューラルハッシュグリッドを提案しています。
-最後に、2D画像コレクションから敵対的なトレーニングを通じて学習されたニューラルボリューメトリックレンダラが使用され、写真のようなリアルな画像を生成します。
-多数の実験により、SceneDreamerの効果的であり、優れた場面の生成であり、最新の手法よりも優越性が示されます。

要約(オリジナル)

In this work, we present SceneDreamer, an unconditional generative model for unbounded 3D scenes, which synthesizes large-scale 3D landscapes from random noise. Our framework is learned from in-the-wild 2D image collections only, without any 3D annotations. At the core of SceneDreamer is a principled learning paradigm comprising 1) an efficient yet expressive 3D scene representation, 2) a generative scene parameterization, and 3) an effective renderer that can leverage the knowledge from 2D images. Our approach begins with an efficient bird’s-eye-view (BEV) representation generated from simplex noise, which includes a height field for surface elevation and a semantic field for detailed scene semantics. This BEV scene representation enables 1) representing a 3D scene with quadratic complexity, 2) disentangled geometry and semantics, and 3) efficient training. Moreover, we propose a novel generative neural hash grid to parameterize the latent space based on 3D positions and scene semantics, aiming to encode generalizable features across various scenes. Lastly, a neural volumetric renderer, learned from 2D image collections through adversarial training, is employed to produce photorealistic images. Extensive experiments demonstrate the effectiveness of SceneDreamer and superiority over state-of-the-art methods in generating vivid yet diverse unbounded 3D worlds.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI