DisCoScene: Spatially Disentangled Generative Radiance Fields for Controllable 3D-aware Scene Synthesis

要約

既存の 3D 対応の画像合成アプローチは、主に単一の正規オブジェクトの生成に焦点を当てており、さまざまなオブジェクトを含む複雑なシーンを構成する能力が限られています。
この作品は、高品質で制御可能なシーン合成のための 3Daware 生成モデルである DisCoScene を紹介します。
私たちの方法の重要な要素は、取得が簡単で、さまざまなシーンの内容を説明するのに一般的であり、オブジェクトのもつれを解き、
バックグラウンド。
さらに、シーン編集のための直感的なユーザー コントロールとして機能します。
このような事前に基づいて、提案されたモデルは、グローバルローカル識別を使用して2D画像のみで学習することにより、シーン全体をオブジェクト中心の生成放射輝度フィールドに空間的に解きほぐします。
私たちのモデルは、個々のオブジェクトの生成忠実度と編集の柔軟性を獲得しながら、オブジェクトと背景を完全なシーンに効率的に構成できます。
困難な Waymo 屋外データセットを含む、多くのシーン データセットで最先端のパフォーマンスを実証します。
プロジェクトページ：https://snap-research.github.io/discoscene/

要約(オリジナル)

Existing 3D-aware image synthesis approaches mainly focus on generating a single canonical object and show limited capacity in composing a complex scene containing a variety of objects. This work presents DisCoScene: a 3Daware generative model for high-quality and controllable scene synthesis. The key ingredient of our method is a very abstract object-level representation (i.e., 3D bounding boxes without semantic annotation) as the scene layout prior, which is simple to obtain, general to describe various scene contents, and yet informative to disentangle objects and background. Moreover, it serves as an intuitive user control for scene editing. Based on such a prior, the proposed model spatially disentangles the whole scene into object-centric generative radiance fields by learning on only 2D images with the global-local discrimination. Our model obtains the generation fidelity and editing flexibility of individual objects while being able to efficiently compose objects and the background into a complete scene. We demonstrate state-of-the-art performance on many scene datasets, including the challenging Waymo outdoor dataset. Project page: https://snap-research.github.io/discoscene/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google