GC-MVSNet: Multi-View, Multi-Scale, Geometrically-Consistent Multi-View Stereo

要約

従来のマルチビュー ステレオ (MVS) 手法は、フォトメトリックおよび幾何学的整合性の制約に大きく依存していますが、新しい機械学習ベースの MVS 手法では、複数のソース ビューにわたる幾何学的整合性を後処理ステップとしてのみチェックします。
この論文では、学習中に異なるスケールの複数のソース ビューにわたる参照ビュー深度マップの幾何学的一貫性を明示的に促進する新しいアプローチを紹介します (図 1 を参照)。
この幾何学的一貫性の損失を追加すると、幾何学的に一貫性のないピクセルに明示的にペナルティを課すことで学習が大幅に加速され、トレーニングの反復要件が他の MVS 手法のほぼ半分に減少することがわかりました。
私たちの広範な実験により、私たちのアプローチが DTU および BlendedMVS データセットで新しい最先端を達成し、Tanks と Temples ベンチマークで競合する結果が得られることが示されました。
私たちの知る限り、GC-MVSNet は、学習中にマルチビュー、マルチスケールの幾何学的一貫性を強制する最初の試みです。

要約(オリジナル)

Traditional multi-view stereo (MVS) methods rely heavily on photometric and geometric consistency constraints, but newer machine learning-based MVS methods check geometric consistency across multiple source views only as a post-processing step. In this paper, we present a novel approach that explicitly encourages geometric consistency of reference view depth maps across multiple source views at different scales during learning (see Fig. 1). We find that adding this geometric consistency loss significantly accelerates learning by explicitly penalizing geometrically inconsistent pixels, reducing the training iteration requirements to nearly half that of other MVS methods. Our extensive experiments show that our approach achieves a new state-of-the-art on the DTU and BlendedMVS datasets, and competitive results on the Tanks and Temples benchmark. To the best of our knowledge, GC-MVSNet is the first attempt to enforce multi-view, multi-scale geometric consistency during learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google