DiffuScene: Denoising Diffusion Models for Generative Indoor Scene Synthesis

要約

新しいシーン構成のノイズ除去拡散モデルに基づいた屋内 3D シーン合成用の DiffuScene を紹介します。
順序付けされていないオブジェクト セットに格納された 3D インスタンス プロパティを生成し、オブジェクト構成ごとに最も類似したジオメトリを取得します。このジオメトリは、位置、サイズ、方向、セマンティクス、ジオメトリの特徴など、さまざまな属性の連結として特徴付けられます。
一連の順序付けされていないオブジェクト属性のノイズを除去することで、3D 屋内オブジェクトのコレクションを合成するための拡散ネットワークを導入します。
順序なしパラメータ化により、結合分布近似が簡素化され、容易になります。
形状特徴の拡散により、対称性を含む自然なオブジェクトの配置が容易になります。
私たちの方法により、シーンの完成、シーンの配置、テキスト条件付きのシーン合成など、多くの下流アプリケーションが可能になります。
3D-FRONT データセットの実験では、私たちの方法が最先端の方法よりも物理的に妥当で多様な屋内シーンを合成できることが示されています。
広範なアブレーション研究により、シーン拡散モデルにおける設計選択の有効性が検証されています。

要約(オリジナル)

We present DiffuScene for indoor 3D scene synthesis based on a novel scene configuration denoising diffusion model. It generates 3D instance properties stored in an unordered object set and retrieves the most similar geometry for each object configuration, which is characterized as a concatenation of different attributes, including location, size, orientation, semantics, and geometry features. We introduce a diffusion network to synthesize a collection of 3D indoor objects by denoising a set of unordered object attributes. Unordered parametrization simplifies and eases the joint distribution approximation. The shape feature diffusion facilitates natural object placements, including symmetries. Our method enables many downstream applications, including scene completion, scene arrangement, and text-conditioned scene synthesis. Experiments on the 3D-FRONT dataset show that our method can synthesize more physically plausible and diverse indoor scenes than state-of-the-art methods. Extensive ablation studies verify the effectiveness of our design choice in scene diffusion models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google