Co-visual pattern augmented generative transformer learning for automobile geo-localization

要約

タイトル：自動車ジオローカリゼーションのためのCo-visual Pattern Augmented Generative Transformer Learning

要約：
– GNSSを基盤とするジオローカリゼーションは、サービス拒否攻撃条件下では失敗するため、CVGLが注目されています。
– CVGLは、空中画像（衛星画像など）と対応させて地上レベルのカメラの地理的位置を推定することを目的としています。
– 既存の方法では、異なる視点のグローバル表現をシャミング様式のアーキテクチャを用いて主に抽出しますが、その相互作用的な利点はほとんど考慮されていません。
– 本論文では、トランスフォーマーと組み合わせた相互生成トランスフォーマー学習（MGTL）を使用した新しいアプローチを提案しています。
– 初期表現を生成することにより、MGTLは、地上視点の意味から空中的な知識の生成のための1つの生成的サブモジュール、およびその逆を開発し、完全に相互利益を注意メカニズムを通して十分に活用します。
– さらに、空中と地上の視点のコビジュアルな関係をよりよく捉えるために、カスケードアテンションマスキングアルゴリズムを導入し、精度をさらに向上させます。
– {CVACT}と{CVUSA}という大きなパブリックベンチマークにおける幅広い実験により、提案手法の効果が証明され、既存の最先端モデルと比較して新しい記録を樹立します。

要約(オリジナル)

Geolocation is a fundamental component of route planning and navigation for unmanned vehicles, but GNSS-based geolocation fails under denial-of-service conditions. Cross-view geo-localization (CVGL), which aims to estimate the geographical location of the ground-level camera by matching against enormous geo-tagged aerial (\emph{e.g.}, satellite) images, has received lots of attention but remains extremely challenging due to the drastic appearance differences across aerial-ground views. In existing methods, global representations of different views are extracted primarily using Siamese-like architectures, but their interactive benefits are seldom taken into account. In this paper, we present a novel approach using cross-view knowledge generative techniques in combination with transformers, namely mutual generative transformer learning (MGTL), for CVGL. Specifically, by taking the initial representations produced by the backbone network, MGTL develops two separate generative sub-modules — one for aerial-aware knowledge generation from ground-view semantics and vice versa — and fully exploits the entirely mutual benefits through the attention mechanism. Moreover, to better capture the co-visual relationships between aerial and ground views, we introduce a cascaded attention masking algorithm to further boost accuracy. Extensive experiments on challenging public benchmarks, \emph{i.e.}, {CVACT} and {CVUSA}, demonstrate the effectiveness of the proposed method which sets new records compared with the existing state-of-the-art models.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI