SliceMatch: Geometry-guided Aggregation for Cross-View Pose Estimation

要約

本研究では、クロスビューカメラ姿勢推定、すなわち、与えられた地上画像の3DoFカメラ姿勢を、局所領域の空中画像と照合して決定することに取り組む。本論文では、SliceMatchを提案する。SliceMatchは、地上および空中画像から特徴抽出器、特徴集約器、姿勢予測器から構成される。特徴抽出器では、地上画像と航空画像から高密度な特徴を抽出する。特徴抽出器は，地上画像と空中画像から高密度な特徴を抽出し，特徴集約器は，カメラ姿勢の候補が与えられたときに，単一の地上記述子と回転等変量姿勢依存の空中記述子の集合を構築する．特に、我々の新しい空中特徴集約器は、地上からの視点に誘導された空中特徴選択のためのクロスビューアテンションモジュールを持ち、地上カメラの視野錐台を空中画像に投影して特徴をプールすることを利用する。空中記述子の効率的な構築は，事前計算されたマスクの使用と，回転したポーズに対する空中記述子の再組み立てによって達成される．SliceMatchは，対比学習を用いて学習され，姿勢推定は，地上記述子と空中記述子の間の類似性比較として定式化される．SliceMatchは、VIGORおよびKITTIデータセットにおいて、ローカライゼーションエラーの中央値で19％、62％、最速ベースラインの3倍のFPSと、最先端技術を上回る性能を発揮しています。

要約(オリジナル)

This work addresses cross-view camera pose estimation, i.e., determining the 3-DoF camera pose of a given ground-level image w.r.t. an aerial image of the local area. We propose SliceMatch, which consists of ground and aerial feature extractors, feature aggregators, and a pose predictor. The feature extractors extract dense features from the ground and aerial images. Given a set of candidate camera poses, the feature aggregators construct a single ground descriptor and a set of rotational equivariant pose-dependent aerial descriptors. Notably, our novel aerial feature aggregator has a cross-view attention module for ground-view guided aerial feature selection, and utilizes the geometric projection of the ground camera’s viewing frustum on the aerial image to pool features. The efficient construction of aerial descriptors is achieved by using precomputed masks and by re-assembling the aerial descriptors for rotated poses. SliceMatch is trained using contrastive learning and pose estimation is formulated as a similarity comparison between the ground descriptor and the aerial descriptors. SliceMatch outperforms the state-of-the-art by 19% and 62% in median localization error on the VIGOR and KITTI datasets, with 3x FPS of the fastest baseline.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL