DeepSim-Nets: Deep Similarity Networks for Stereo Image Matching

要約

【タイトル】DeepSim-Nets: ステレオ画像マッチングのための深層類似性ネットワーク

【要約】
– DeepSimネットワークは、3つのマルチスケール類似性学習アーキテクチャで構成されている。
– DeepSimネットワークは、コントラスト損失によるピクセルレベルのマッチングを学習し、対象シーンのジオメトリに対して無関係である。
– エピポーラ対のすべての対応するピクセルを一度に密集に割り当てることで、ハイブリッドアプローチとエンドツーエンドアプローチの中間地点を確立している。
– 画像タイル全体で学習された特徴は、表現力が高く、シーンのより広いコンテキストを捉えることができる。
– 選別されたサンプルマイニングにより、予測される類似性の総合的な堅牢性が向上し、放射状に均一な領域での性能が向上することを示している。
– 航空および衛星データセットで実験を実施し、DeepSim-Netsはベースラインのハイブリッドアプローチを上回り、エンドツーエンド方法よりも学習性が高いことを示した。
– 柔軟なアーキテクチャは、標準的なマルチ解像度画像マッチングパイプラインで簡単に採用できる。

要約(オリジナル)

We present three multi-scale similarity learning architectures, or DeepSim networks. These models learn pixel-level matching with a contrastive loss and are agnostic to the geometry of the considered scene. We establish a middle ground between hybrid and end-to-end approaches by learning to densely allocate all corresponding pixels of an epipolar pair at once. Our features are learnt on large image tiles to be expressive and capture the scene’s wider context. We also demonstrate that curated sample mining can enhance the overall robustness of the predicted similarities and improve the performance on radiometrically homogeneous areas. We run experiments on aerial and satellite datasets. Our DeepSim-Nets outperform the baseline hybrid approaches and generalize better to unseen scene geometries than end-to-end methods. Our flexible architecture can be readily adopted in standard multi-resolution image matching pipelines.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI