LOCORE: Image Re-ranking with Long-Context Sequence Modeling

要約

Locore、Long-Contextの再ランカー、画像クエリに対応する入力ローカル記述子とギャラリー画像のリストを使用して、クエリと各ギャラリー画像の間に類似性スコアを出力するモデルを紹介します。
このモデルは画像検索に使用されます。通常、最初のランキングは効率的な類似性測定値で実行され、その後、より微細な類似性測定に基づいて、トップランクの画像の候補リストが再ランクされます。
ローカル記述子でペアワイズ類似性推定を実行する既存の方法またはグローバル記述子とのリストごとの再ランクを実行するメソッドと比較して、Locoreはローカル記述子でリストごとに再ランキングを実行する最初の方法です。
これを実現するために、効率的な長いコンテキストシーケンスモデルを活用して、ローカルデスプリリングレベルでクエリとギャラリーの画像間の依存関係を効果的にキャプチャします。
テスト中、シーケンスモデルのコンテキストサイズの制限を克服するために調整されたスライドウィンドウ戦略で長い候補リストを処理します。
私たちのアプローチは、ランドマーク（ROXFとRPAR）、製品（SOP）、ファッションアイテム（インショップ）、および鳥類（CUB-200）の確立された画像検索ベンチマークの他の再ランカーと比較して、ペアワイズのローカル記述子リランカーに匹敵するレイテンシを持っています。

要約(オリジナル)

We introduce LOCORE, Long-Context Re-ranker, a model that takes as input local descriptors corresponding to an image query and a list of gallery images and outputs similarity scores between the query and each gallery image. This model is used for image retrieval, where typically a first ranking is performed with an efficient similarity measure, and then a shortlist of top-ranked images is re-ranked based on a more fine-grained similarity measure. Compared to existing methods that perform pair-wise similarity estimation with local descriptors or list-wise re-ranking with global descriptors, LOCORE is the first method to perform list-wise re-ranking with local descriptors. To achieve this, we leverage efficient long-context sequence models to effectively capture the dependencies between query and gallery images at the local-descriptor level. During testing, we process long shortlists with a sliding window strategy that is tailored to overcome the context size limitations of sequence models. Our approach achieves superior performance compared with other re-rankers on established image retrieval benchmarks of landmarks (ROxf and RPar), products (SOP), fashion items (In-Shop), and bird species (CUB-200) while having comparable latency to the pair-wise local descriptor re-rankers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google