Wide-Area Geolocalization with a Limited Field of View Camera in Challenging Urban Environments

要約

クロスビュー地理位置特定は、GPS の補足または代替であり、地上からの画像と頭上の画像を照合することにより、探索エリア内のエージェントの位置を特定します。
パノラマ地上カメラを想定して大幅な進歩が見られました。
パノラマ カメラの複雑さとコストの高さにより、非パノラマ カメラはより広く適用可能になりますが、地上画像と頭上の画像の間でシーンの重なりが少なくなるため、より困難でもあります。
この論文では、ニューラル ネットワークとパーティクル フィルターを組み合わせて、オドメトリと非パノラマ カメラのみを使用してモバイル エージェントをグローバルに位置特定するクロスビュー地理位置特定アプローチである、制限付き FOV 広域地理位置特定 (ReWAG) について説明します。
ReWAG は、ポーズ認識エンベディングを作成し、粒子ポーズをシャム ネットワークに組み込む戦略を提供し、ビジョン トランスフォーマー ベースラインと比較して位置特定精度を 100 倍向上させます。
この拡張された作業には ReWAG* も含まれており、これにより、これまで見たことのない環境における ReWAG の一般化機能が向上します。
ReWAG* は、ボストンで 72 度の視野 (FOV) カメラ、つまり ReWAG* がトレーニングされていない場所と FOV を使用して収集した画像のデータセットに繰り返し正確に収束します。

要約(オリジナル)

Cross-view geolocalization, a supplement or replacement for GPS, localizes an agent within a search area by matching ground-view images to overhead images. Significant progress has been made assuming a panoramic ground camera. Panoramic cameras’ high complexity and cost make non-panoramic cameras more widely applicable, but also more challenging since they yield less scene overlap between ground and overhead images. This paper presents Restricted FOV Wide-Area Geolocalization (ReWAG), a cross-view geolocalization approach that combines a neural network and particle filter to globally localize a mobile agent with only odometry and a non-panoramic camera. ReWAG creates pose-aware embeddings and provides a strategy to incorporate particle pose into the Siamese network, improving localization accuracy by a factor of 100 compared to a vision transformer baseline. This extended work also presents ReWAG*, which improves upon ReWAG’s generalization ability in previously unseen environments. ReWAG* repeatedly converges accurately on a dataset of images we have collected in Boston with a 72 degree field of view (FOV) camera, a location and FOV that ReWAG* was not trained on.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google