RoomTex: Texturing Compositional Indoor Scenes via Iterative Inpainting

要約

拡散モデルの進歩により、テキストから 3D オブジェクトへの生成の境界が押し広げられました。
合理的なジオメトリを持つシーンにオブジェクトを合成するのは簡単ですが、スタイルの不一致やオブジェクト間のオクルージョンがあるため、そのようなシーンを完全にテクスチャ化することは簡単ではありません。
これらの問題に取り組むために、テクスチャ化されていない構成シーン メッシュに対して忠実度が高くスタイルの一貫性のあるテクスチャを生成する、RoomTex と呼ばれる粗いから細かい 3D シーン テクスチャリング フレームワークを提案します。
粗い段階では、RoomTex はまずシーン メッシュをパノラマ深度マップにアンラップし、ControlNet を活用して部屋のパノラマを生成します。これは、グローバル テクスチャの一貫性を確保するための粗い参照とみなされます。
細かい段階では、RoomTex は、パノラマ画像とパースペクティブ深度マップに基づいて、オブジェクトが完全にペイントされるまで、一連の選択されたカメラ ビューに沿って、部屋内のすべてのオブジェクトを繰り返し調整してテクスチャを作成します。
さらに、微妙なエッジ検出方法により、RGB と深度空間の間の優れた位置合わせを維持することを提案します。
広範な実験により、私たちの方法が高品質で多様な部屋のテクスチャを生成できること、そしてさらに重要なことに、インペインティングベースのフレームワークと構成メッシュ入力のおかげで、インタラクティブなきめの細かいテクスチャ制御と柔軟なシーン編集をサポートできることがわかりました。
私たちのプロジェクト ページは https://qwang666.github.io/RoomTex/ から入手できます。

要約(オリジナル)

The advancement of diffusion models has pushed the boundary of text-to-3D object generation. While it is straightforward to composite objects into a scene with reasonable geometry, it is nontrivial to texture such a scene perfectly due to style inconsistency and occlusions between objects. To tackle these problems, we propose a coarse-to-fine 3D scene texturing framework, referred to as RoomTex, to generate high-fidelity and style-consistent textures for untextured compositional scene meshes. In the coarse stage, RoomTex first unwraps the scene mesh to a panoramic depth map and leverages ControlNet to generate a room panorama, which is regarded as the coarse reference to ensure the global texture consistency. In the fine stage, based on the panoramic image and perspective depth maps, RoomTex will refine and texture every single object in the room iteratively along a series of selected camera views, until this object is completely painted. Moreover, we propose to maintain superior alignment between RGB and depth spaces via subtle edge detection methods. Extensive experiments show our method is capable of generating high-quality and diverse room textures, and more importantly, supporting interactive fine-grained texture control and flexible scene editing thanks to our inpainting-based framework and compositional mesh input. Our project page is available at https://qwang666.github.io/RoomTex/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google