Neural 3D Scene Reconstruction from Multi-view Images without 3D Supervision

要約

ニューラル シーン再構成手法は、大規模なシーン内の複雑なジオメトリと低テクスチャ領域の再構成において優れたパフォーマンスを達成しました。
ただし、これらの方法は 3D 教師付き情報に大きく依存しており、現実世界で取得するにはコストと時間がかかります。
本稿では、3D監視なしでシーンを再構成する新しい神経再構成手法を提案します。
アクセス可能な 2D 画像を監視として使用して、シーン再構築のための微分可能なボリューム レンダリングを実行します。
シーン内の複雑なジオメトリ領域の再構築品質を向上させるためにジオメトリを課し、シーン内の低テクスチャ領域の再構築品質を向上させるために平面制約を課します。
具体的には、シーンを表すために符号付き距離関数 (SDF) フィールド、カラー フィールド、および確率フィールドを導入し、微分可能レイ マーチングの下で​​フィールドを最適化してシーンを再構成します。
さらに、サーフェス上の 3D ポイントを、異なるビューで同様の特徴を持つ同様に見える領域に投影する幾何学的制約を課します。
また、大きな平面が壁や床に対して平行または垂直を保つように平面制約を課します。
これら 2 つの制約は、シーンの正確かつ滑らかなジオメトリ構造を再構築するのに役立ちます。
3D 監視情報を使用しない場合、私たちの方法は、ScanNet データセットの監視として 3D 情報を使用するいくつかの既存の方法と比較して、競争力のある再構築を実現します。

要約(オリジナル)

Neural scene reconstruction methods have achieved impressive performance in reconstructing complex geometry and low-textured regions in large scenes. However, these methods heavily rely on 3D supervised information which is costly and time-consuming to obtain in the real world. In this paper, we propose a novel neural reconstruction method that reconstructs scenes without 3D supervision. We perform differentiable volume rendering for scene reconstruction by using accessible 2D images as supervision. We impose geometry to improve the reconstruction quality of complex geometry regions in the scenes, and impose plane constraints to improve the reconstruction quality of low-textured regions in the scenes. Specifically, we introduce a signed distance function (SDF) field, a color field, and a probability field to represent the scene, and optimize the fields under the differentiable ray marching to reconstruct the scene. Besides, we impose geometric constraints that project 3D points on the surface to similar-looking regions with similar features in different views. We also impose plane constraints to make large planes keep parallel or vertical to the wall or floor. These two constraints help to reconstruct accurate and smooth geometry structures of the scene. Without 3D supervision information, our method achieves competitive reconstruction compared with some existing methods that use 3D information as supervision on the ScanNet dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google