PanoVPR: Towards Unified Perspective-to-Equirectangular Visual Place Recognition via Sliding Windows across the Panoramic View

要約

近年、自動運転やロボティクスのキーテクノロジーとして、視位置認識が注目されています。
現在の主流のアプローチは、透視図検索透視図 (P2P) パラダイムまたは正距円筒画像検索正距円筒図法 (E2E) パラダイムのいずれかを使用します。
ただし、自然で実際的な考え方として、ユーザーは消費者向けのピンホール カメラのみを使用して、クエリのパースペクティブ イメージを取得し、それらをマップ プロバイダーからパノラマ データベース イメージで取得することができます。
この目的のために、スライド ウィンドウ ベースの視点から正距円筒図法 (P2E) の視覚的な場所認識フレームワークである PanoVPR を提案します。
ウィンドウズ。
さらに、この統一されたフレームワークにより、Perspective-to-Perspective (P2P) メソッドで使用されるネットワーク構造を変更せずに直接転送することができます。
トレーニングと評価を容易にするために、pitts250k から pitts250k-P2E データセットを導出し、有望な結果を達成します。また、YQ360 と呼ばれる移動ロボット プラットフォームによって、現実世界のシナリオで P2E データセットを確立します。
コードとデータセットは、https://github.com/zafirshi/PanoVPR で利用できるようになります。

要約(オリジナル)

Visual place recognition has received increasing attention in recent years as a key technology in autonomous driving and robotics. The current mainstream approaches use either the perspective view retrieval perspective view (P2P) paradigm or the equirectangular image retrieval equirectangular image (E2E) paradigm. However, a natural and practical idea is that users only have consumer-grade pinhole cameras to obtain query perspective images and retrieve them in panoramic database images from map providers. To this end, we propose PanoVPR, a sliding-window-based perspective-to-equirectangular (P2E) visual place recognition framework, which eliminates feature truncation caused by hard cropping by sliding windows over the whole equirectangular image and computing and comparing feature descriptors between windows. In addition, this unified framework allows for directly transferring the network structure used in perspective-to-perspective (P2P) methods without modification. To facilitate training and evaluation, we derive the pitts250k-P2E dataset from the pitts250k and achieve promising results, and we also establish a P2E dataset in a real-world scenario by a mobile robot platform, which we refer to YQ360. Code and datasets will be made available at https://github.com/zafirshi/PanoVPR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google