HouseCrafter: Lifting Floorplans to 3D Scenes with 2D Diffusion Model

要約

私たちは、間取り図を完全な大規模な 3D 屋内シーン (家など) に引き上げることができる新しいアプローチである HouseCrafter を紹介します。
私たちの重要な洞察は、Web スケール画像でトレーニングされた 2D 拡散モデルを適応させて、シーンのさまざまな場所にわたって一貫したマルチビュー カラー (RGB) および深度 (D) 画像を生成することです。
具体的には、RGB-D 画像は、フロアプランに基づいてサンプリングされた位置に沿ってバッチ方式で自己回帰的に生成され、以前に生成された画像が拡散モデルの条件として使用され、近くの位置に画像が生成されます。
拡散モデルのグローバル フロアプランとアテンション デザインにより、生成された画像の一貫性が確保され、そこから 3D シーンを再構築できます。
3D-Front データセットの広範な評価を通じて、HouseCraft が高品質の住宅スケールの 3D シーンを生成できることを実証しました。
アブレーション研究では、さまざまな設計選択の有効性も検証されています。
コードとモデルの重みを公開します。
プロジェクトページ：https://neu-vi.github.io/houseCrafter/

要約(オリジナル)

We introduce HouseCrafter, a novel approach that can lift a floorplan into a complete large 3D indoor scene (e.g., a house). Our key insight is to adapt a 2D diffusion model, which is trained on web-scale images, to generate consistent multi-view color (RGB) and depth (D) images across different locations of the scene. Specifically, the RGB-D images are generated autoregressively in a batch-wise manner along sampled locations based on the floorplan, where previously generated images are used as condition to the diffusion model to produce images at nearby locations. The global floorplan and attention design in the diffusion model ensures the consistency of the generated images, from which a 3D scene can be reconstructed. Through extensive evaluation on the 3D-Front dataset, we demonstrate that HouseCraft can generate high-quality house-scale 3D scenes. Ablation studies also validate the effectiveness of different design choices. We will release our code and model weights. Project page: https://neu-vi.github.io/houseCrafter/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google