Unsupervised Light Field Depth Estimation via Multi-view Feature Matching with Occlusion Prediction

要約

ライト フィールド (LF) 画像からの深度推定は、一部のアプリケーションの基本的なステップです。
最近、学習ベースの方法は、従来の方法よりも高い精度と効率を達成しています。
ただし、教師ありトレーニングに十分な深度ラベルを取得するにはコストがかかります。
この論文では、LF画像から深度を推定するための教師なしフレームワークを提案します。
まず、多視点特徴マッチングを実行して対応関係をより効果的に学習することにより、さまざまな視点の組み合わせから視差マップを予測するために、粗から細かい構造の視差推定ネットワーク (DispNet) を設計します。
オクルージョンは写真の一貫性の違反を引き起こす可能性があるため、オクルージョン マップを予測するオクルージョン予測ネットワーク (OccNet) を設計します。オクルージョン マップは、オクルージョンの問題を解決し、視差学習を支援するためのフォトメトリック損失の要素単位の重みとして使用されます。
複数の入力の組み合わせによって推定された視差マップを使用して、最終的な視差マップを取得するための効果的なオクルージョン処理を伴う推定誤差に基づく視差融合戦略を提案します。
実験結果は、私たちの方法が密な LF 画像と疎な LF 画像の両方で優れたパフォーマンスを達成し、現実世界の LF 画像に対してより優れた一般化能力を備えていることを示しています。

要約(オリジナル)

Depth estimation from light field (LF) images is a fundamental step for some applications. Recently, learning-based methods have achieved higher accuracy and efficiency than the traditional methods. However, it is costly to obtain sufficient depth labels for supervised training. In this paper, we propose an unsupervised framework to estimate depth from LF images. First, we design a disparity estimation network (DispNet) with a coarse-to-fine structure to predict disparity maps from different view combinations by performing multi-view feature matching to learn the correspondences more effectively. As occlusions may cause the violation of photo-consistency, we design an occlusion prediction network (OccNet) to predict the occlusion maps, which are used as the element-wise weights of photometric loss to solve the occlusion issue and assist the disparity learning. With the disparity maps estimated by multiple input combinations, we propose a disparity fusion strategy based on the estimated errors with effective occlusion handling to obtain the final disparity map. Experimental results demonstrate that our method achieves superior performance on both the dense and sparse LF images, and also has better generalization ability to the real-world LF images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google