Hierarchical Image Matching for UAV Absolute Visual Localization via Semantic and Structural Constraints

要約

グローバルな参照に関するエージェントの位置を決定することを目的とする絶対的なローカリゼーションは、さまざまなアプリケーションで無人航空機（UAV）にとって重要ですが、グローバルナビゲーション衛星システム（GNSS）信号が利用できない場合に困難になります。
参照衛星マップにUAVの現在のビューを位置付けるために、その位置を推定する視覚ベースの絶対ローカリゼーション方法は、GNSSが除去したシナリオで人気を博しています。
ただし、既存の方法は、主に従来の画像と低レベルの画像のマッチングに依存しており、クロスソースの矛盾と時間的変動によって導入された大きな違いにより困難に悩まされています。
これらの制限を克服するために、このホワイトペーパーでは、UAV絶対ローカリゼーションのために設計された階層的なクロスソース画像マッチング方法を紹介します。
具体的には、粗いマッチングモジュールでは、Vision Foundationモデルから派生したセマンティック機能は、最初にセマンティックおよび構造的制約の下で領域レベルの対応を確立します。
次に、微細に一致するモジュールが適用され、微細な機能を抽出し、ピクセルレベルの対応を確立します。
これに基づいて、主に提案された階層画像マッチングモジュールの前に画像検索モジュールを使用することにより、相対的なローカリゼーション技術に依存せずにUAV絶対視覚的ローカリゼーションパイプラインが構築されます。
パブリックベンチマークデータセットと新しく導入されたCS-UAVデータセットでの実験的評価は、さまざまな困難な条件下で提案された方法の優れた精度と堅牢性を示し、その有効性を確認します。

要約(オリジナル)

Absolute localization, aiming to determine an agent’s location with respect to a global reference, is crucial for unmanned aerial vehicles (UAVs) in various applications, but it becomes challenging when global navigation satellite system (GNSS) signals are unavailable. Vision-based absolute localization methods, which locate the current view of the UAV in a reference satellite map to estimate its position, have become popular in GNSS-denied scenarios. However, existing methods mostly rely on traditional and low-level image matching, suffering from difficulties due to significant differences introduced by cross-source discrepancies and temporal variations. To overcome these limitations, in this paper, we introduce a hierarchical cross-source image matching method designed for UAV absolute localization, which integrates a semantic-aware and structure-constrained coarse matching module with a lightweight fine-grained matching module. Specifically, in the coarse matching module, semantic features derived from a vision foundation model first establish region-level correspondences under semantic and structural constraints. Then, the fine-grained matching module is applied to extract fine features and establish pixel-level correspondences. Building upon this, a UAV absolute visual localization pipeline is constructed without any reliance on relative localization techniques, mainly by employing an image retrieval module before the proposed hierarchical image matching modules. Experimental evaluations on public benchmark datasets and a newly introduced CS-UAV dataset demonstrate superior accuracy and robustness of the proposed method under various challenging conditions, confirming its effectiveness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google