DeBaRA: Denoising-Based 3D Room Arrangement Generation

要約

家具付きの屋内 3D シーンのリアルで多様なレイアウトを生成すると、幅広い業界に影響を与える複数のインタラクティブ アプリケーションが可能になります。
オブジェクトの相互作用に固有の複雑さ、利用可能なデータ量の制限、空間的制約を満たすための要件などにより、3D シーンの合成と配置のための生成モデリングは困難になります。
現在の手法は、自己回帰的に、または 3D 推論を考慮せずにすべての属性を同時に予測する既製の拡散目標を使用して、これらの課題に対処しています。
このペーパーでは、制限された環境で正確で制御可能かつ柔軟な配置を生成するために特別に調整されたスコアベースのモデルである DeBaRA を紹介します。
私たちは、シーン合成システムの最も重要なコンポーネントは、制限された領域内でさまざまなオブジェクトのサイズと位置を正確に確立することであると主張します。
この洞察に基づいて、3D 空間認識を中核として設計された軽量の条件付きスコアベースのモデルを提案します。
オブジェクトの空間属性に焦点を当てることで、単一のトレーニング済み DeBaRA モデルをテスト時に利用して、シーンの合成、完成、再配置などのいくつかの下流アプリケーションを実行できることを実証します。
さらに、外部 LLM モデルと並行して最適に使用できるように、新しい自己スコア評価手順を導入します。
私たちは広範な実験を通じてアプローチを評価し、さまざまなシナリオで最先端のアプローチに対する大幅な改善を実証しています。

要約(オリジナル)

Generating realistic and diverse layouts of furnished indoor 3D scenes unlocks multiple interactive applications impacting a wide range of industries. The inherent complexity of object interactions, the limited amount of available data and the requirement to fulfill spatial constraints all make generative modeling for 3D scene synthesis and arrangement challenging. Current methods address these challenges autoregressively or by using off-the-shelf diffusion objectives by simultaneously predicting all attributes without 3D reasoning considerations. In this paper, we introduce DeBaRA, a score-based model specifically tailored for precise, controllable and flexible arrangement generation in a bounded environment. We argue that the most critical component of a scene synthesis system is to accurately establish the size and position of various objects within a restricted area. Based on this insight, we propose a lightweight conditional score-based model designed with 3D spatial awareness at its core. We demonstrate that by focusing on spatial attributes of objects, a single trained DeBaRA model can be leveraged at test time to perform several downstream applications such as scene synthesis, completion and re-arrangement. Further, we introduce a novel Self Score Evaluation procedure so it can be optimally employed alongside external LLM models. We evaluate our approach through extensive experiments and demonstrate significant improvement upon state-of-the-art approaches in a range of scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google