Deep Learning Meets Satellite Images — An Evaluation on Handcrafted and Learning-based Features for Multi-date Satellite Stereo Images

要約

デジタル サーフェス モデル (DSM) 生成の重要なステップは、フィーチャ マッチングです。
特に、オフトラック (または複数日付) の衛星ステレオ画像では、画像間のスペクトルの歪み、長いベースライン、および広い交差角により、特徴マッチングのパフォーマンスに課題が生じる可能性があります。
特徴マッチング手法は、長年にわたって手作りの手法 (SIFT など) から学習ベースの手法 (SuperPoint や SuperGlue など) まで進化してきました。
このペーパーでは、衛星画像に適用される、特徴抽出およびマッチング手法とも呼ばれるさまざまな特徴のパフォーマンスを比較します。
2 つの別々の研究サイトをカバーする広範囲のステレオ ペア (~500) が使用されます。
広く使用されている古典的な特徴抽出およびマッチング アルゴリズムである SIFT は、SuperGlue、LightGlue、LoFTR、ASpanFormer、DKM、GIM-LightGlue、および GIM-DKM の 7 つのディープラーニング マッチング手法と比較されます。
結果は、特定のシナリオでは学習ベースの方法が非常に有望であるにもかかわらず、従来のマッチング方法がこの深層学習の時代でも依然として競争力があることを示しています。

要約(オリジナル)

A critical step in the digital surface models(DSM) generation is feature matching. Off-track (or multi-date) satellite stereo images, in particular, can challenge the performance of feature matching due to spectral distortions between images, long baseline, and wide intersection angles. Feature matching methods have evolved over the years from handcrafted methods (e.g., SIFT) to learning-based methods (e.g., SuperPoint and SuperGlue). In this paper, we compare the performance of different features, also known as feature extraction and matching methods, applied to satellite imagery. A wide range of stereo pairs(~500) covering two separate study sites are used. SIFT, as a widely used classic feature extraction and matching algorithm, is compared with seven deep-learning matching methods: SuperGlue, LightGlue, LoFTR, ASpanFormer, DKM, GIM-LightGlue, and GIM-DKM. Results demonstrate that traditional matching methods are still competitive in this age of deep learning, although for particular scenarios learning-based methods are very promising.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google