Enhancing Multi-view Stereo with Contrastive Matching and Weighted Focal Loss

要約

学習ベースのマルチビューステレオ（MVS）手法は、近年目覚ましい進歩を遂げ、従来の手法を上回りました。
ただし、その正確性と完全性は依然として苦労しています。
本論文では、対照的な学習と特徴のマッチングに触発された既存のネットワークのパフォーマンスを向上させるための新しい方法を提案します。
まず、コントラストマッチングロス（CML）を提案します。これは、深さ次元の正しいマッチングポイントを正のサンプルとして扱い、他のポイントをネガティブサンプルとして扱い、特徴の類似性に基づいてコントラスト損失を計算します。
さらに、分類機能を向上させるために加重焦点損失（WFL）を提案します。これにより、予測される信頼度に従って、重要でない領域の信頼度の低いピクセルの損失への寄与が弱まります。
DTU、Tanks and Temples、およびBlendMVSデータセットで実行された広範な実験は、私たちの方法がベースラインネットワークよりも最先端のパフォーマンスと大幅な改善を達成していることを示しています。

要約(オリジナル)

Learning-based multi-view stereo (MVS) methods have made impressive progress and surpassed traditional methods in recent years. However, their accuracy and completeness are still struggling. In this paper, we propose a new method to enhance the performance of existing networks inspired by contrastive learning and feature matching. First, we propose a Contrast Matching Loss (CML), which treats the correct matching points in depth-dimension as positive sample and other points as negative samples, and computes the contrastive loss based on the similarity of features. We further propose a Weighted Focal Loss (WFL) for better classification capability, which weakens the contribution of low-confidence pixels in unimportant areas to the loss according to predicted confidence. Extensive experiments performed on DTU, Tanks and Temples and BlendedMVS datasets show our method achieves state-of-the-art performance and significant improvement over baseline network.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google