DDL-MVS: Depth Discontinuity Learning for MVS Networks

要約

従来の MVS 手法は精度は良好ですが、完全性に問題があります。一方、最近開発された学習ベースのマルチビュー ステレオ (MVS) 手法は、精度が損なわれることを除けば完全性が向上しています。
私たちは、再構成の完全性を維持しながら精度をさらに向上させる、MVS 手法の深度不連続学習を提案します。
私たちのアイデアは、深度マップと境界マップを共同で推定し、境界マップを深度マップのさらなる改良に明示的に使用することです。
私たちはアイデアを検証し、再構成が高品質の深度マップ推定に依存する既存の学習ベースの MVS パイプラインに私たちの戦略を簡単に統合できることを実証します。
さまざまなデータセットに対する広範な実験により、私たちの方法がベースラインと比較して再構築の品質を向上させることが示されました。
実験では、提示されたモデルと戦略が優れた一般化機能を備えていることも実証されています。
ソースコードは間もなく公開される予定です。

要約(オリジナル)

Traditional MVS methods have good accuracy but struggle with completeness, while recently developed learning-based multi-view stereo (MVS) techniques have improved completeness except accuracy being compromised. We propose depth discontinuity learning for MVS methods, which further improves accuracy while retaining the completeness of the reconstruction. Our idea is to jointly estimate the depth and boundary maps where the boundary maps are explicitly used for further refinement of the depth maps. We validate our idea and demonstrate that our strategies can be easily integrated into the existing learning-based MVS pipeline where the reconstruction depends on high-quality depth map estimation. Extensive experiments on various datasets show that our method improves reconstruction quality compared to baseline. Experiments also demonstrate that the presented model and strategies have good generalization capabilities. The source code will be available soon.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google