Cross-view Geo-localization via Learning Disentangled Geometric Layout Correspondence

要約

クロスビュー地理位置特定は、クエリ地上画像を参照地理タグ付き航空画像データベースと照合することで、その画像の位置を推定することを目的としています。
非常に困難なタスクであるため、その難しさは、ビューの急激な変化と 2 つのビュー間のキャプチャ時間の違いに根ざしています。
これらの困難にもかかわらず、最近の研究では、クロスビュー地理位置推定ベンチマークにおいて目覚ましい進歩を遂げています。
ただし、既存の手法では、トレーニング データとテスト データが 2 つの異なるリージョンから取得されるクロスエリア ベンチマークでのパフォーマンスが依然として低いという問題があります。
この欠陥は、視覚的な特徴レイアウトの空間構成を抽出する能力の欠如と、トレーニング セットから低レベルの詳細に対するモデルの過学習に起因すると考えられます。
この論文では、新しい幾何学的レイアウト抽出モジュールを使用して、生の特徴から幾何学的情報を明示的に解きほぐし、空中と地面のペアから視覚的特徴間の空間相関を学習する GeoDTR を提案します。
このモジュールは、幾何学的レイアウト記述子のセットを生成し、生の特徴を調整して高品質の潜在表現を生成します。
さらに、データ拡張の 2 つのカテゴリ、(i) 低レベルの詳細をそのまま維持しながら空間構成を変更するレイアウト シミュレーションについて詳しく説明します。
(ii) セマンティック拡張。低レベルの詳細を変更し、モデルが空間構成を捕捉するように促します。
これらの拡張は、特にクロスエリア ベンチマークにおけるクロスビュー地理位置特定モデルのパフォーマンスの向上に役立ちます。
さらに、空間情報を探索する際に幾何学的レイアウト抽出器に利益をもたらす、反事実に基づく学習プロセスを提案します。
広範な実験により、GeoDTR が最先端の結果を達成するだけでなく、同一エリアおよびクロスエリアのベンチマークでのパフォーマンスが大幅に向上することが示されています。

要約(オリジナル)

Cross-view geo-localization aims to estimate the location of a query ground image by matching it to a reference geo-tagged aerial images database. As an extremely challenging task, its difficulties root in the drastic view changes and different capturing time between two views. Despite these difficulties, recent works achieve outstanding progress on cross-view geo-localization benchmarks. However, existing methods still suffer from poor performance on the cross-area benchmarks, in which the training and testing data are captured from two different regions. We attribute this deficiency to the lack of ability to extract the spatial configuration of visual feature layouts and models’ overfitting on low-level details from the training set. In this paper, we propose GeoDTR which explicitly disentangles geometric information from raw features and learns the spatial correlations among visual features from aerial and ground pairs with a novel geometric layout extractor module. This module generates a set of geometric layout descriptors, modulating the raw features and producing high-quality latent representations. In addition, we elaborate on two categories of data augmentations, (i) Layout simulation, which varies the spatial configuration while keeping the low-level details intact. (ii) Semantic augmentation, which alters the low-level details and encourages the model to capture spatial configurations. These augmentations help to improve the performance of the cross-view geo-localization models, especially on the cross-area benchmarks. Moreover, we propose a counterfactual-based learning process to benefit the geometric layout extractor in exploring spatial information. Extensive experiments show that GeoDTR not only achieves state-of-the-art results but also significantly boosts the performance on same-area and cross-area benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google