Neural 3D Scene Reconstruction from Multi-view Images without 3D Supervision

要約

ニューラルシーン再構成法は、大規模なシーンにおける複雑な形状やテクスチャの少ない領域の再構成において、素晴らしい性能を達成している。しかし、これらの手法は、実世界で得るにはコストと時間のかかる3次元監視情報に大きく依存している。本論文では、3D監視なしでシーンを再構成する新しいニューラル再構成法を提案する。我々は、シーン再構成のために、アクセス可能な2D画像を監視として用いることで、微分可能なボリュームレンダリングを行う。シーン中の複雑な形状領域の再構成品質を向上させるために形状制約を課し、シーン中の低テクスチャ領域の再構成品質を向上させるために平面制約を課する。具体的には、シーンを表現するために符号付き距離関数(SDF)フィールド、色フィールド、確率フィールドを導入し、シーンを再構成するために微分可能な光線行進の下でフィールドを最適化する。さらに、幾何学的制約を課し、表面上の3次元点を、異なるビューにおいて類似した特徴を持つ類似した領域に投影する。また、大きな平面を壁や床に平行または垂直に保つ平面制約を課す。これら2つの拘束は、シーンの正確で滑らかな幾何構造を再構成するのに役立つ。ScanNetデータセットにおいて、3次元監視情報を用いない本手法は、3次元情報を監視として用いるいくつかの既存手法と比較して、競争力のある再構成を達成する。

要約(オリジナル)

Neural scene reconstruction methods have achieved impressive performance in reconstructing complex geometry and low-textured regions in large scenes. However, these methods heavily rely on 3D supervised information which is costly and time-consuming to obtain in the real world. In this paper, we propose a novel neural reconstruction method that reconstructs scenes without 3D supervision. We perform differentiable volume rendering for scene reconstruction by using accessible 2D images as supervision. We impose geometry to improve the reconstruction quality of complex geometry regions in the scenes, and impose plane constraints to improve the reconstruction quality of low-textured regions in the scenes. Specifically, we introduce a signed distance function (SDF) field, a color field, and a probability field to represent the scene, and optimize the fields under the differentiable ray marching to reconstruct the scene. Besides, we impose geometric constraints that project 3D points on the surface to similar-looking regions with similar features in different views. We also impose plane constraints to make large planes keep parallel or vertical to the wall or floor. These two constraints help to reconstruct accurate and smooth geometry structures of the scene. Without 3D supervision information, our method achieves competitive reconstruction compared with some existing methods that use 3D information as supervision on the ScanNet dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL