Multi-view dense image matching with similarity learning and geometry priors

要約

マルチビューの類似性学習のために設計された深いニューラルネットワークの包括的なスイートであるMV-Deepsimnetsを紹介し、トレーニング用のエピポラージオメトリを活用します。
私たちのアプローチには、エピポーララインに沿って、またはホモグラフィーの修正を通じて、ピクセルの関係を特徴付ける前に、オンラインジオメトリが組み込まれています。
これにより、ネイティブ画像からの幾何学的な機能の生成が可能になり、平面掃引を使用して候補の深度仮説を越えて投影されます。
私たちのメソッドの幾何学的前処理は、面倒なマルチビュートレーニングデータセットの作成を必要とせずに、強化されたマルチビュー再構築のためにエピポーラベースの機能を効果的に適応させます。
学習した類似点を集約することにより、コストボリュームを構築して正規化し、従来の密なマッチングアプローチでマルチビュー表面再構成が改善されます。
MV-Deepsimnetsは、特にさまざまな地上サンプリング距離を備えた空中および衛星画像の両方で一般化機能の観点から、主要な類似性学習ネットワークとエンドツーエンドの回帰モデルに対して優れたパフォーマンスを示します。
当社のパイプラインはMICMACソフトウェアに統合されており、標準の多解像度の画像マッチングパイプラインで容易に採用できます。

要約(オリジナル)

We introduce MV-DeepSimNets, a comprehensive suite of deep neural networks designed for multi-view similarity learning, leveraging epipolar geometry for training. Our approach incorporates an online geometry prior to characterize pixel relationships, either along the epipolar line or through homography rectification. This enables the generation of geometry-aware features from native images, which are then projected across candidate depth hypotheses using plane sweeping. Our method geometric preconditioning effectively adapts epipolar-based features for enhanced multi-view reconstruction, without requiring the laborious multi-view training dataset creation. By aggregating learned similarities, we construct and regularize the cost volume, leading to improved multi-view surface reconstruction over traditional dense matching approaches. MV-DeepSimNets demonstrates superior performance against leading similarity learning networks and end-to-end regression models, especially in terms of generalization capabilities across both aerial and satellite imagery with varied ground sampling distances. Our pipeline is integrated into MicMac software and can be readily adopted in standard multi-resolution image matching pipelines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google