$R^{2}$Former: Unified $R$etrieval and $R$eranking Transformer for Place Recognition

要約

タイトル： Place Recognitionの統一RetrievalおよびReranking Transformer用の$R^{2}$Former
要約：
– Visual Place Recognition(VPR)は、クエリー画像を参照データベースの画像とマッチングすることで、クエリー画像の位置を推定する。
– 従来の方法では、グローバルRetrievalには集計されたCNN特徴を、RerankingにはRANSACベースの幾何学的検証を採用している。
– しかし、RANSACは幾何学的情報しか扱わず、他の情報（例えば局所特徴の相関、Attention値など）を無視する。
– 本論文では、RetrievalとRerankingの両方を扱う統一的なPlace Recognitionフレームワークを提案している。
– 提案された$R^{2}$Formerは、RetrievalおよびRerankingのためのTransformerモデルであり、feature correlation、attention value、xy coordinatesも考慮するrerankingモジュールを備えている。
– 整合性が取れたパイプラインはエンドツーエンドでトレーニング可能であり、Rerankingモジュール単体でも他のCNNやトランスフォーマーバックボーンで一般的なコンポーネントとして採用できる。
– $R^{2}$Formerは、大幅に推論時間とメモリ消費が少ない状態で、主要なVPRデータセットで他の最新技術を大幅に上回る性能を発揮する。
– また、MSLSチャレンジセットでも最新技術を超えた状態を達成し、シンプルで強力な実世界の大規模アプリケーションの解決策として役立つ。
– 実験では、Vision Transformerトークンが局所マッチングでCNN局所特徴と比較可能で、場合によってはより優れた性能を示すことも示した。
– コードはhttps://github.com/Jeff-Zilence/R2Formerにて公開されている。

要約(オリジナル)

Visual Place Recognition (VPR) estimates the location of query images by matching them with images in a reference database. Conventional methods generally adopt aggregated CNN features for global retrieval and RANSAC-based geometric verification for reranking. However, RANSAC only employs geometric information but ignores other possible information that could be useful for reranking, e.g. local feature correlations, and attention values. In this paper, we propose a unified place recognition framework that handles both retrieval and reranking with a novel transformer model, named $R^{2}$Former. The proposed reranking module takes feature correlation, attention value, and xy coordinates into account, and learns to determine whether the image pair is from the same location. The whole pipeline is end-to-end trainable and the reranking module alone can also be adopted on other CNN or transformer backbones as a generic component. Remarkably, $R^{2}$Former significantly outperforms state-of-the-art methods on major VPR datasets with much less inference time and memory consumption. It also achieves the state-of-the-art on the hold-out MSLS challenge set and could serve as a simple yet strong solution for real-world large-scale applications. Experiments also show vision transformer tokens are comparable and sometimes better than CNN local features on local matching. The code is released at https://github.com/Jeff-Zilence/R2Former.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI