iQPP: A Benchmark for Image Query Performance Prediction

要約

今日まで、コンテンツ ベースの画像検索のコンテキストにおけるクエリ パフォーマンス予測 (QPP) は、特にクエリが画像である例によるクエリのシナリオでは、ほとんど未踏のタスクのままです。
画像検索における QPP タスクの探索を促進するために、画像クエリ パフォーマンス予測 (iQPP) の最初のベンチマークを提案します。
まず、4 つのデータ セット (PASCAL VOC 2012、Caltech-101、ROxford5k、および RParis6k) のセットを確立し、2 つの状態を使用して、各クエリのグラウンド トゥルースの難易度を平均精度または precision@k として推定します。
-アート画像検索モデル。
次に、新しい検索前および検索後のクエリ パフォーマンス予測子を提案および評価し、それらを既存のまたは適応された (テキストから画像への) 予測子と比較します。
経験的な結果は、ほとんどの予測因子が評価シナリオ全体で一般化されていないことを示しています。
私たちの包括的な実験は、iQPP が困難なベンチマークであることを示しており、将来の作業で対処する必要がある重要な研究ギャップを明らかにしています。
将来の研究を促進するために、https://github.com/Eduard6421/iQPP でコードとデータをオープン ソースとしてリリースします。

要約(オリジナル)

To date, query performance prediction (QPP) in the context of content-based image retrieval remains a largely unexplored task, especially in the query-by-example scenario, where the query is an image. To boost the exploration of the QPP task in image retrieval, we propose the first benchmark for image query performance prediction (iQPP). First, we establish a set of four data sets (PASCAL VOC 2012, Caltech-101, ROxford5k and RParis6k) and estimate the ground-truth difficulty of each query as the average precision or the precision@k, using two state-of-the-art image retrieval models. Next, we propose and evaluate novel pre-retrieval and post-retrieval query performance predictors, comparing them with existing or adapted (from text to image) predictors. The empirical results show that most predictors do not generalize across evaluation scenarios. Our comprehensive experiments indicate that iQPP is a challenging benchmark, revealing an important research gap that needs to be addressed in future work. We release our code and data as open source at https://github.com/Eduard6421/iQPP, to foster future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google