From Limited Labels to Open Domains: An Efficient Learning Paradigm for UAV-view Geo-Localization

要約

従来のUAV-Viewジオローカリゼーション（UVGL）監視されたパラダイムは、ポジティブなサンプル選択のためのペアのデータへの厳格な依存によって制約されており、これにより、対応のないデータからクロスビュードメインインバリアン表現を学習する能力が制限されています。
さらに、新しいドメインに展開する際に、シナリオ固有のトレーニングのための高価な再ラーベルコストとのペアリング関係を再構築する必要があります。
この問題に対処するために、クロスドメインの不変性サブネットワークとクロスドメイン転送サブネットワークを含む新しいクロスドメイン不変知識移転ネットワーク（CDIKTNET）を提案し、不変機能学習と知識転送の閉ループフレームワークを実現します。
クロスドメインの不変サブネットワークは、クロスビュー機能で構造的不変性と空間不変性を学習することにより、ドメイン全体で本質的に共有された機能空間を構築するために利用されます。
一方、クロスドメイン転送サブネットワークは、これらの不変機能をアンカーとして使用し、対応のないデータの潜在的なクロスドメイン相関パターンを採掘するためのデュアルパスコントラストメモリ学習メカニズムを採用しています。
広範な実験は、私たちの方法が完全に監視された条件下で最先端のパフォーマンスを達成することを示しています。
さらに重要なことに、わずか2 \％のペアのデータを使用すると、我々の方法は既存の監視されたパラダイムに匹敵するパフォーマンスを示し、他のシナリオのアプリケーションの資格を取得するために直接転送して、以前のペアリング関係なしに完全に転送する能力を持っています。

要約(オリジナル)

Traditional UAV-view Geo-Localization (UVGL) supervised paradigms are constrained by the strict reliance on paired data for positive sample selection, which limits their ability to learn cross-view domain-invariant representations from unpaired data. Moreover, it is necessary to reconstruct the pairing relationship with expensive re-labeling costs for scenario-specific training when deploying in a new domain, which fails to meet the practical demands of open-environment applications. To address this issue, we propose a novel cross-domain invariance knowledge transfer network (CDIKTNet), which comprises a cross-domain invariance sub-network and a cross-domain transfer sub-network to realize a closed-loop framework of invariance feature learning and knowledge transfer. The cross-domain invariance sub-network is utilized to construct an essentially shared feature space across domains by learning structural invariance and spatial invariance in cross-view features. Meanwhile, the cross-domain transfer sub-network uses these invariant features as anchors and employs a dual-path contrastive memory learning mechanism to mine latent cross-domain correlation patterns in unpaired data. Extensive experiments demonstrate that our method achieves state-of-the-art performance under fully supervised conditions. More importantly, with merely 2\% paired data, our method exhibits performance comparable to existing supervised paradigms and possesses the ability to transfer directly to qualify for applications in the other scenarios completely without any prior pairing relationship.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google