iQPP: A Benchmark for Image Query Performance Prediction

要約

タイトル：iQPP：画像クエリパフォーマンス予測のベンチマーク
要約：
-クエリパフォーマンス予測（QPP）は、コンテンツベースの画像検索の文脈において未解明のタスクであり、特にクエリが画像のクエリバイエグザンプルシナリオである場合には、さらに未解明のタスクです。
– iQPPの提案により、画像クエリパフォーマンス予測の最初のベンチマークを提供しています。
– 4つのデータセット（PASCAL VOC 2012、Caltech-101、ROxford5k、およびRParis6k）を確立し、2つの最先端の画像検索モデルを使用して、各クエリのグラウンドトゥルースの難易度を平均精度または@ k精度として推定します。
– 次に、既存または（テキストから画像へ）適応された既存のプレ処理とポスト処理クエリパフォーマンス予測子と比較して、新しいプレ処理とポスト処理クエリパフォーマンス予測子を提案し評価します。
– 実験結果から、大半の予測子は評価シナリオを横断して一般化しないことが示された。
– 網羅的な実験結果により、iQPPが課題に直面していることが明らかになった。今後の研究で取り組む必要のある課題です。
– 我々のコードとデータをオープンソースで公開して、将来の研究を促進する。

要約(オリジナル)

To date, query performance prediction (QPP) in the context of content-based image retrieval remains a largely unexplored task, especially in the query-by-example scenario, where the query is an image. To boost the exploration of the QPP task in image retrieval, we propose the first benchmark for image query performance prediction (iQPP). First, we establish a set of four data sets (PASCAL VOC 2012, Caltech-101, ROxford5k and RParis6k) and estimate the ground-truth difficulty of each query as the average precision or the precision@k, using two state-of-the-art image retrieval models. Next, we propose and evaluate novel pre-retrieval and post-retrieval query performance predictors, comparing them with existing or adapted (from text to image) predictors. The empirical results show that most predictors do not generalize across evaluation scenarios. Our comprehensive experiments indicate that iQPP is a challenging benchmark, revealing an important research gap that needs to be addressed in future work. We release our code and data as open source at https://github.com/Eduard6421/iQPP, to foster future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI