Neural 3D Scene Reconstruction from Multiple 2D Images without 3D Supervision

要約

ニューラル 3D シーン再構成手法は、屋内シーンの複雑なジオメトリや低テクスチャ領域を再構成する際に、優れたパフォーマンスを達成しました。
ただし、これらの方法は 3D データに大きく依存しており、現実世界で取得するにはコストと時間がかかります。
本稿では、3D監視なしで平面制約の下でまばらな深さを使用してシーンを再構成する新しい神経再構成方法を提案します。
シーンを表すために、符号付き距離関数フィールド、色フィールド、確率フィールドを導入します。
これらのフィールドを最適化し、アクセス可能な 2D 画像を監視として微分可能なレイ マーチングを使用してシーンを再構成します。
幾何学的制約を使用して得られたまばらな深さを持つ複雑な幾何学シーン領域の再構成品質を向上させます。
幾何学的制約は、サーフェス上の 3D ポイントを、異なる 2D 画像内の類似した特徴を持つ類似した外観の領域に投影します。
平面制約を課して、大きな平面を屋内の床に対して平行または垂直にします。
2 つの制約は両方とも、シーンの正確かつ滑らかなジオメトリ構造を再構築するのに役立ちます。
3D 監視を使用しない場合、私たちの方法は、ScanNet データセットで 3D 監視を使用する既存の方法と比較して、競争力のあるパフォーマンスを達成します。

要約(オリジナル)

Neural 3D scene reconstruction methods have achieved impressive performance when reconstructing complex geometry and low-textured regions in indoor scenes. However, these methods heavily rely on 3D data which is costly and time-consuming to obtain in real world. In this paper, we propose a novel neural reconstruction method that reconstructs scenes using sparse depth under the plane constraints without 3D supervision. We introduce a signed distance function field, a color field, and a probability field to represent a scene. We optimize these fields to reconstruct the scene by using differentiable ray marching with accessible 2D images as supervision. We improve the reconstruction quality of complex geometry scene regions with sparse depth obtained by using the geometric constraints. The geometric constraints project 3D points on the surface to similar-looking regions with similar features in different 2D images. We impose the plane constraints to make large planes parallel or vertical to the indoor floor. Both two constraints help reconstruct accurate and smooth geometry structures of the scene. Without 3D supervision, our method achieves competitive performance compared with existing methods that use 3D supervision on the ScanNet dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google