Instance-level Image Retrieval using Reranking Transformers

要約

インスタンスレベルの画像検索は、クエリ画像内のオブジェクトに一致する画像を大規模なデータベースで検索するタスクです。
このタスクに対処するために、システムは通常、グローバル画像記述子を使用する検索ステップと、ローカル機能に基づく幾何学的検証などの操作を利用してドメイン固有の改良または再ランク付けを実行する後続のステップに依存します。
この作業では、ローカルとグローバルの両方の機能を組み込んで、監視された方法で一致する画像を再ランク付けし、幾何学的検証の比較的高価なプロセスを置き換える一般的なモデルとして、再ランク付けトランスフォーマー（RRT）を提案します。
RRTは軽量であり、簡単に並列化できるため、上位の一致する結果のセットの再ランク付けを1回のフォワードパスで実行できます。
再訪したオックスフォードとパリのデータセット、およびGoogleランドマークv2データセットで広範な実験を行い、RRTが以前の再ランク付けアプローチよりもはるかに少ないローカル記述子を使用することを示しています。
さらに、既存のアプローチとは異なり、RRTは特徴抽出器と一緒に最適化できることを示します。これにより、ダウンストリームタスクに合わせた特徴表現とさらなる精度の向上につながる可能性があります。
コードとトレーニング済みモデルは、https：//github.com/uvavision/RerankingTransformerで公開されています。

要約(オリジナル)

Instance-level image retrieval is the task of searching in a large database for images that match an object in a query image. To address this task, systems usually rely on a retrieval step that uses global image descriptors, and a subsequent step that performs domain-specific refinements or reranking by leveraging operations such as geometric verification based on local features. In this work, we propose Reranking Transformers (RRTs) as a general model to incorporate both local and global features to rerank the matching images in a supervised fashion and thus replace the relatively expensive process of geometric verification. RRTs are lightweight and can be easily parallelized so that reranking a set of top matching results can be performed in a single forward-pass. We perform extensive experiments on the Revisited Oxford and Paris datasets, and the Google Landmarks v2 dataset, showing that RRTs outperform previous reranking approaches while using much fewer local descriptors. Moreover, we demonstrate that, unlike existing approaches, RRTs can be optimized jointly with the feature extractor, which can lead to feature representations tailored to downstream tasks and further accuracy improvements. The code and trained models are publicly available at https://github.com/uvavision/RerankingTransformer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google