DELS-MVS: Deep Epipolar Line Search for Multi-View Stereo

要約

深層学習ベースのマルチビュー ステレオ (MVS) の新しいアプローチを提案します。
参照画像の各ピクセルに対して、私たちの方法は深いアーキテクチャを活用して、対応するエピポーラ線に沿って直接ソース画像の対応する点を検索します。
私たちの方法を DELS-MVS: Deep Epipolar Line Search Multi-View Stereo と呼びます。
ディープ MVS の以前の作業では、深度空間内で関心のある範囲を選択し、それを離散化し、結果の深度値に従ってエピポーラ ラインをサンプリングします。これにより、エピポーラ ラインのスキャンが不均一になり、画像空間が不均一になる可能性があります。
代わりに、私たちの方法はエピポーラ線に直接作用します。これにより、画像空間の均一なスキャンが保証され、対象の深度範囲を選択する必要がなくなります。
深さ空間の適切な離散化の必要性。
実際、私たちの検索は反復的であり、保存と処理の両方にコストがかかるコスト ボリュームの構築を回避します。
最後に、私たちの方法は、推定された深度マップの堅牢なジオメトリ認識融合を実行し、各深度とともに予測された信頼性を活用します。
ETH3D、Tanks and Temples、DTU ベンチマークで DELS-MVS をテストし、最先端のアプローチに関して競争力のある結果を達成しています。

要約(オリジナル)

We propose a novel approach for deep learning-based Multi-View Stereo (MVS). For each pixel in the reference image, our method leverages a deep architecture to search for the corresponding point in the source image directly along the corresponding epipolar line. We denote our method DELS-MVS: Deep Epipolar Line Search Multi-View Stereo. Previous works in deep MVS select a range of interest within the depth space, discretize it, and sample the epipolar line according to the resulting depth values: this can result in an uneven scanning of the epipolar line, hence of the image space. Instead, our method works directly on the epipolar line: this guarantees an even scanning of the image space and avoids both the need to select a depth range of interest, which is often not known a priori and can vary dramatically from scene to scene, and the need for a suitable discretization of the depth space. In fact, our search is iterative, which avoids the building of a cost volume, costly both to store and to process. Finally, our method performs a robust geometry-aware fusion of the estimated depth maps, leveraging a confidence predicted alongside each depth. We test DELS-MVS on the ETH3D, Tanks and Temples and DTU benchmarks and achieve competitive results with respect to state-of-the-art approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google