Defurnishing with X-Ray Vision: Joint Removal of Furniture from Panoramas and Mesh

要約

テクスチャメッシュと対応するマルチビューパノラマ画像として表される屋内スペースのダイバードレプリカを生成するためのパイプラインを提示します。
これを実現するために、最初にメッシュ表現から家具をセグメント化して削除し、平面を拡張し、穴を埋めて、簡略化された脱肉のメッシュ（SDM）を取得します。
このSDMは、シーンの根底にある構造の「X線」として機能し、解体プロセスを導きます。
深さからキャニーエッジを抽出し、SDMからレンダリングされた通常の画像を抽出します。
次に、これらをガイドとして使用して、ControlNet Inpaintingを介してパノラマ画像から家具を削除します。
この制御信号は、削除される家具によって特定のパノラマビューから隠されている可能性のあるグローバルな幾何学的情報の可用性を保証します。
塗装されたパノラマは、メッシュをテクスチャにするために使用されます。
私たちのアプローチは、ぼやけた低解像度の画像、または幻覚の影響を非常に受けやすいRGB-Dの入力を生成する傾向がある神経放射界に依存する方法よりも高品質の資産を生成することを示しています。

要約(オリジナル)

We present a pipeline for generating defurnished replicas of indoor spaces represented as textured meshes and corresponding multi-view panoramic images. To achieve this, we first segment and remove furniture from the mesh representation, extend planes, and fill holes, obtaining a simplified defurnished mesh (SDM). This SDM acts as an “X-ray” of the scene’s underlying structure, guiding the defurnishing process. We extract Canny edges from depth and normal images rendered from the SDM. We then use these as a guide to remove the furniture from panorama images via ControlNet inpainting. This control signal ensures the availability of global geometric information that may be hidden from a particular panoramic view by the furniture being removed. The inpainted panoramas are used to texture the mesh. We show that our approach produces higher quality assets than methods that rely on neural radiance fields, which tend to produce blurry low-resolution images, or RGB-D inpainting, which is highly susceptible to hallucinations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google