Multi-weather Cross-view Geo-localization Using Denoising Diffusion Models

要約

GNSS が拒否された環境におけるクロスビュー地理位置特定は、ドローンからのビュー画像と、大規模なギャラリーからの正しい地理タグが付けられた衛星ビューの画像を照合することで、未知の場所を特定することを目的としています。
最近の研究では、特定の気象条件下で識別的な画像表現を学習すると、パフォーマンスが大幅に向上することが示されています。
しかし、目に見えない異常気象が頻繁に発生しており、進歩が妨げられています。
このペーパーでは、目に見えない気象条件に動的に適応するように設計されたマルチウェザー クロスビュー地理位置特定フレームワークである MCGF を紹介します。
MCGF は、ノイズ除去拡散モデルを使用して、画像復元と地理的位置特定の間の共同最適化を確立します。
画像復元の場合、MCGF には共有エンコーダと軽量復元モジュールが組み込まれており、バックボーンによる気象固有の情報の除去を支援します。
地理位置特定の場合、MCGF は特徴抽出のバックボーンとして EVA-02 を使用し、トレーニング用のクロスエントロピー損失とテスト用のコサイン距離を使用します。
University160k-WX での広範な実験により、MCGF がさまざまな気象条件下で地理位置特定に関して競争力のある結果を達成できることが実証されました。

要約(オリジナル)

Cross-view geo-localization in GNSS-denied environments aims to determine an unknown location by matching drone-view images with the correct geo-tagged satellite-view images from a large gallery. Recent research shows that learning discriminative image representations under specific weather conditions can significantly enhance performance. However, the frequent occurrence of unseen extreme weather conditions hinders progress. This paper introduces MCGF, a Multi-weather Cross-view Geo-localization Framework designed to dynamically adapt to unseen weather conditions. MCGF establishes a joint optimization between image restoration and geo-localization using denoising diffusion models. For image restoration, MCGF incorporates a shared encoder and a lightweight restoration module to help the backbone eliminate weather-specific information. For geo-localization, MCGF uses EVA-02 as a backbone for feature extraction, with cross-entropy loss for training and cosine distance for testing. Extensive experiments on University160k-WX demonstrate that MCGF achieves competitive results for geo-localization in varying weather conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google