Towards Content-based Pixel Retrieval in Revisited Oxford and Paris

要約

このペーパーでは、最初の 2 つのピクセル検索ベンチマークを紹介します。
ピクセルの取得は、セグメント化されたインスタンスの取得です。
セマンティック セグメンテーションが分類をピクセル レベルに拡張するのと同様に、ピクセル検索は画像検索の拡張であり、どのピクセルがクエリ オブジェクトに関連しているかについての情報を提供します。
指定されたクエリの画像を取得するだけでなく、ユーザーが真陽性画像内のクエリ オブジェクトを迅速に識別し、相関ピクセルを示すことで偽陽性画像を除外するのに役立ちます。
私たちのユーザー調査の結果は、ピクセルレベルの注釈がユーザーエクスペリエンスを大幅に向上させることができることを示しています。
セマンティック セグメンテーションおよびインスタンス セグメンテーションと比較して、ピクセル検索には、可変粒度のターゲットに対するきめ細かい認識機能が必要です。
この目的を達成するために、広く使用されている画像検索データセットである ROxford と RParis に基づいた、PROxford と PRParis という名前のピクセル検索ベンチマークを提案します。
3 人のプロのアノテーターが 2 回のダブルチェックと改良を経て 5,942 枚の画像にラベルを付けます。
さらに、ピクセル検索ベンチマークを使用して、画像検索、画像マッチング、検出、セグメンテーション、高密度マッチングにおける SOTA 手法に関する広範な実験と分析を実施しています。
結果は、ピクセル検索タスクがこれらのアプローチにとって困難であり、既存の問題とは異なることを示しており、さらなる研究によりコンテンツベースのピクセル検索、ひいてはユーザーの検索エクスペリエンスを進歩させることができることを示唆しています。
データセットは \href{https://github.com/anguoyuan/Pixel_retrieval-Segmented_instance_retrieval}{this link} からダウンロードできます。

要約(オリジナル)

This paper introduces the first two pixel retrieval benchmarks. Pixel retrieval is segmented instance retrieval. Like semantic segmentation extends classification to the pixel level, pixel retrieval is an extension of image retrieval and offers information about which pixels are related to the query object. In addition to retrieving images for the given query, it helps users quickly identify the query object in true positive images and exclude false positive images by denoting the correlated pixels. Our user study results show pixel-level annotation can significantly improve the user experience. Compared with semantic and instance segmentation, pixel retrieval requires a fine-grained recognition capability for variable-granularity targets. To this end, we propose pixel retrieval benchmarks named PROxford and PRParis, which are based on the widely used image retrieval datasets, ROxford and RParis. Three professional annotators label 5,942 images with two rounds of double-checking and refinement. Furthermore, we conduct extensive experiments and analysis on the SOTA methods in image search, image matching, detection, segmentation, and dense matching using our pixel retrieval benchmarks. Results show that the pixel retrieval task is challenging to these approaches and distinctive from existing problems, suggesting that further research can advance the content-based pixel-retrieval and thus user search experience. The datasets can be downloaded from \href{https://github.com/anguoyuan/Pixel_retrieval-Segmented_instance_retrieval}{this link}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google