SceneCraft: Layout-Guided 3D Scene Generation

要約

ユーザーの仕様に合わせた複雑な 3D シーンの作成は、従来の 3D モデリング ツールでは退屈で困難な作業でした。
いくつかの先駆的な方法は、テキストから 3D への自動生成を実現していますが、それらは一般に、形状やテクスチャの制御が制限された小規模なシーンに限定されています。
ユーザーが指定したテキストの説明と空間レイアウトの設定に準拠した詳細な屋内シーンを生成する新しい方法である SceneCraft を紹介します。
私たちの方法の中心となるのは、3D セマンティック レイアウトをマルチビュー 2D プロキシ マップに変換するレンダリング ベースの技術です。
さらに、マルチビュー画像を生成するための意味論的かつ深度条件付き拡散モデルを設計します。これは、最終的なシーン表現として神経放射場 (NeRF) を学習するために使用されます。
パノラマ画像生成の制約がないため、従来の方法を超えて、単一の部屋を超えた、不規則な形状やレイアウトを持つマルチベッドルームのアパートメント全体のような複雑な屋内空間の生成をサポートします。
実験的な分析を通じて、私たちの方法が、多様なテクスチャ、一貫したジオメトリ、リアルな視覚品質を備えた複雑な屋内シーンの生成において、既存のアプローチよりも大幅に優れていることを実証します。
コードとその他の結果は、https://orangesodahub.github.io/SceneCraft で入手できます。

要約(オリジナル)

The creation of complex 3D scenes tailored to user specifications has been a tedious and challenging task with traditional 3D modeling tools. Although some pioneering methods have achieved automatic text-to-3D generation, they are generally limited to small-scale scenes with restricted control over the shape and texture. We introduce SceneCraft, a novel method for generating detailed indoor scenes that adhere to textual descriptions and spatial layout preferences provided by users. Central to our method is a rendering-based technique, which converts 3D semantic layouts into multi-view 2D proxy maps. Furthermore, we design a semantic and depth conditioned diffusion model to generate multi-view images, which are used to learn a neural radiance field (NeRF) as the final scene representation. Without the constraints of panorama image generation, we surpass previous methods in supporting complicated indoor space generation beyond a single room, even as complicated as a whole multi-bedroom apartment with irregular shapes and layouts. Through experimental analysis, we demonstrate that our method significantly outperforms existing approaches in complex indoor scene generation with diverse textures, consistent geometry, and realistic visual quality. Code and more results are available at: https://orangesodahub.github.io/SceneCraft

arxiv情報

提供元, 利用サービス

arxiv.jp, Google