UASTHN: Uncertainty-Aware Deep Homography Estimation for UAV Satellite-Thermal Geo-localization

要約

地理的ローカリゼーションは、無人航空機（UAV）ナビゲーションシステムの不可欠なコンポーネントであり、屋外環境での絶対的な自己局在化を確実に確保しています。
GPS信号の中断または低照明の課題に対処するために、熱ジオローカリゼーション（TG）は航空の熱画像を使用して、参照衛星マップと整列してUAVの位置を正確に決定します。
ただし、既存のTGメソッドには、出力の不確実性測定がありません。テクスチャレスまたは破損した熱画像、自己類似または時代遅れの衛星マップ、幾何学的ノイズ、または衛星マップを超えるサーマル画像の存在下でのシステムの堅牢性の妥協がありません。
これらの制限を克服するために、このペーパーでは、TGアプリケーションのディープホモグラフィー推定（DHE）タスクにおける不確実性推定（UE）の新しいアプローチであるUasthnを提示します。
具体的には、データの不確実性を効果的に測定するために、トリミングされた画像ビューのホモグラフィーコンセンサスを活用する、新しい作物ベースのテスト時間拡張（CropTTA）戦略を導入します。
このアプローチは、モデルの不確実性に使用されるディープアンサンブル（DE）によって補完され、あらゆるDHEモデルとの効率を向上させ、シームレスな統合を伴う同等のパフォーマンスを提供します。
複数のDHEモデルにわたる広範な実験は、TGアプリケーションにおけるCropTTAの有効性と効率を示しています。
検出された故障症例の分析は、困難な条件下でのCropttaの信頼性の向上を強調しています。
最後に、データとモデルの不確実性の両方を包括的に評価するために、CropttaとDEを組み合わせる能力を実証します。
私たちの研究は、ローカリゼーションと不確実性の推定のより広い交差点に関する深い洞察を提供します。
コードとモデルは公開されています。

要約(オリジナル)

Geo-localization is an essential component of Unmanned Aerial Vehicle (UAV) navigation systems to ensure precise absolute self-localization in outdoor environments. To address the challenges of GPS signal interruptions or low illumination, Thermal Geo-localization (TG) employs aerial thermal imagery to align with reference satellite maps to accurately determine the UAV’s location. However, existing TG methods lack uncertainty measurement in their outputs, compromising system robustness in the presence of textureless or corrupted thermal images, self-similar or outdated satellite maps, geometric noises, or thermal images exceeding satellite maps. To overcome these limitations, this paper presents UASTHN, a novel approach for Uncertainty Estimation (UE) in Deep Homography Estimation (DHE) tasks for TG applications. Specifically, we introduce a novel Crop-based Test-Time Augmentation (CropTTA) strategy, which leverages the homography consensus of cropped image views to effectively measure data uncertainty. This approach is complemented by Deep Ensembles (DE) employed for model uncertainty, offering comparable performance with improved efficiency and seamless integration with any DHE model. Extensive experiments across multiple DHE models demonstrate the effectiveness and efficiency of CropTTA in TG applications. Analysis of detected failure cases underscores the improved reliability of CropTTA under challenging conditions. Finally, we demonstrate the capability of combining CropTTA and DE for a comprehensive assessment of both data and model uncertainty. Our research provides profound insights into the broader intersection of localization and uncertainty estimation. The code and models are publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google