A Comparative Study on Deep-Learning Methods for Dense Image Matching of Multi-angle and Multi-date Remote Sensing Stereo Images

要約

ディープ ラーニング (DL) ステレオ マッチング手法は、リモート センシング衛星データセットで大きな注目を集めました。
ただし、これらの既存の研究のほとんどは、いくつかの/単一のステレオ画像のみに基づいて評価を結論付けており、さまざまな放射測定および幾何学的構成を持つ衛星ステレオ画像に対する DL メソッドの堅牢性に関する体系的な評価が欠けています。
この論文では、さまざまな幾何学的構成を持つ数百のマルチ日付マルチサイト衛星ステレオ ペアによる 4 つの DL ステレオ マッチング方法の評価を提供し、従来の十分に実践されている Census-SGM (セミグローバル マッチング) に対して、それらの精度を包括的に理解します。
堅牢性、一般化機能、およびそれらの実用的な可能性。
DL メソッドには、畳み込みニューラル ネットワーク (MC-CNN) とそれに続く SGM による学習ベースのコスト メトリック、および Geometry and Context Network (GCNet)、Pyramid Stereo Matching Network (PSMNet) を使用した 3 つのエンドツーエンド (E2E) 学習モデルが含まれます。
)、およびLEAステレオ。
私たちの実験は、E2E アルゴリズムが幾何学的精度の上限を達成できることを示していますが、目に見えないデータではうまく一般化できない可能性があります。
学習ベースのコスト メトリックと Census-SGM はかなり堅牢であり、一貫して許容可能な結果を​​達成できます。
すべての DL アルゴリズムは、ステレオ ペアの幾何学的構成に対して堅牢であり、Census-SGM と比較して感度が低くなりますが、学習ベースのコスト メトリクスは、異なるデータセット (空中または地上ビュー) でトレーニングされたときに衛星画像で一般化できます。

要約(オリジナル)

Deep learning (DL) stereo matching methods gained great attention in remote sensing satellite datasets. However, most of these existing studies conclude assessments based only on a few/single stereo images lacking a systematic evaluation on how robust DL methods are on satellite stereo images with varying radiometric and geometric configurations. This paper provides an evaluation of four DL stereo matching methods through hundreds of multi-date multi-site satellite stereo pairs with varying geometric configurations, against the traditional well-practiced Census-SGM (Semi-global matching), to comprehensively understand their accuracy, robustness, generalization capabilities, and their practical potential. The DL methods include a learning-based cost metric through convolutional neural networks (MC-CNN) followed by SGM, and three end-to-end (E2E) learning models using Geometry and Context Network (GCNet), Pyramid Stereo Matching Network (PSMNet), and LEAStereo. Our experiments show that E2E algorithms can achieve upper limits of geometric accuracies, while may not generalize well for unseen data. The learning-based cost metric and Census-SGM are rather robust and can consistently achieve acceptable results. All DL algorithms are robust to geometric configurations of stereo pairs and are less sensitive in comparison to the Census-SGM, while learning-based cost metrics can generalize on satellite images when trained on different datasets (airborne or ground-view).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google