Towards High-Fidelity Single-view Holistic Reconstruction of Indoor Scenes

要約

シングルビュー画像から部屋の背景と屋内オブジェクトの両方を含む全体的な3D屋内シーンを再構築するための新しいフレームワークを提示します。
既存の方法では、屋内シーンのオクルージョンが大きいため、ジオメトリ品質が制限された屋内オブジェクトの3D形状しか生成できません。
これを解決するために、詳細なオブジェクト再構築のためのインスタンス整列陰関数（InstPIFu）を提案します。
インスタンスに合わせたアテンションモジュールと組み合わせることで、私たちの方法は、混合されたローカル機能を閉塞されたインスタンスに向けて分離することができます。
さらに、部屋の背景を3Dバウンディングボックス、深度マップ、または平面のセットとして単純に表現する以前の方法とは異なり、暗黙的な表現を介して背景の細かいジオメトリを復元します。
e SUN RGB-D、Pix3D、3D-FUTURE、および3D-FRONTデータセットに関する広範な実験は、私たちの方法が背景と前景の両方のオブジェクトの再構築において既存のアプローチよりも優れていることを示しています。
私たちのコードとモデルは公開されます。

要約(オリジナル)

We present a new framework to reconstruct holistic 3D indoor scenes including both room background and indoor objects from single-view images. Existing methods can only produce 3D shapes of indoor objects with limited geometry quality because of the heavy occlusion of indoor scenes. To solve this, we propose an instance-aligned implicit function (InstPIFu) for detailed object reconstruction. Combining with instance-aligned attention module, our method is empowered to decouple mixed local features toward the occluded instances. Additionally, unlike previous methods that simply represents the room background as a 3D bounding box, depth map or a set of planes, we recover the fine geometry of the background via implicit representation. Extensive experiments on the e SUN RGB-D, Pix3D, 3D-FUTURE, and 3D-FRONT datasets demonstrate that our method outperforms existing approaches in both background and foreground object reconstruction. Our code and model will be made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google