CC3D: Layout-Conditioned Generation of Compositional 3D Scenes

要約

この作業では、単一ビュー画像を使用してトレーニングされた、2D セマンティック シーン レイアウトで条件付けられた複雑な 3D シーンを合成する条件付き生成モデルである CC3D を紹介します。
適用性を整列された単一のオブジェクトに制限するほとんどの既存の 3D GAN とは異なり、3D シーンの構成上の性質をモデル化することにより、複数のオブジェクトを含む複雑なシーンを生成することに重点を置いています。
3D合成のための2Dレイアウトベースのアプローチを考案し、より強力な幾何学的誘導バイアスを備えた新しい3Dフィールド表現を実装することにより、より制御可能な生成プロセスを可能にしながら、効率的で高品質な3D GANを作成しました.
合成 3D-FRONT および現実世界の KITTI-360 データセットに対する評価は、モデルが以前の作品と比較して視覚的および幾何学的品質が向上したシーンを生成することを示しています。

要約(オリジナル)

In this work, we introduce CC3D, a conditional generative model that synthesizes complex 3D scenes conditioned on 2D semantic scene layouts, trained using single-view images. Different from most existing 3D GANs that limit their applicability to aligned single objects, we focus on generating complex scenes with multiple objects, by modeling the compositional nature of 3D scenes. By devising a 2D layout-based approach for 3D synthesis and implementing a new 3D field representation with a stronger geometric inductive bias, we have created a 3D GAN that is both efficient and of high quality, while allowing for a more controllable generation process. Our evaluations on synthetic 3D-FRONT and real-world KITTI-360 datasets demonstrate that our model generates scenes of improved visual and geometric quality in comparison to previous works.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google