Object-Centric Open-Vocabulary Image-Retrieval with Aggregated Features

要約

オープンボキャブラリーのオブジェクト中心の画像検索のタスクには、オープンセットのテキストクエリによって描写される、指定された対象オブジェクトを含む画像の検索が含まれます。
大規模な画像データセットを扱うことが標準になるにつれて、このタスクを効率的に解決することが実用上で非常に重要になってきています。
アプリケーションには、アドホック クエリを使用した、取得した画像のターゲットを絞ったパフォーマンス分析や、トレーニング中のハード サンプル マイニングが含まれます。
対比ベースのオープン語彙システムの最近の進歩は、目覚ましい進歩をもたらし、大規模なオープン語彙画像検索を容易にしました。
ただし、これらのアプローチでは画像ごとに単一のグローバル埋め込みを使用するため、比較的小さなオブジェクト インスタンスを含む画像を取得するシステムの機能が制限されます。
あるいは、検出パイプラインからローカルの埋め込みを組み込むと、スケーラビリティの課題に直面し、大規模なデータベースからの取得には適さなくなります。
この研究では、オブジェクト中心のオープン語彙画像検索に対するシンプルかつ効果的なアプローチを紹介します。
私たちのアプローチは、CLIP から抽出された高密度のエンベディングをコンパクトな表現に集約し、基本的に画像検索パイプラインのスケーラビリティと高密度検出手法のオブジェクト識別機能を組み合わせます。
3 つのデータセットでグローバル フィーチャ アプローチよりも大幅に優れた結果を達成し、精度を最大 15 mAP ポイント向上させることで、タスクに対するスキームの有効性を示します。
さらに、このスキームを大規模な検索フレームワークに統合し、スケーラビリティと解釈可能性の点でこの方法の利点を実証します。

要約(オリジナル)

The task of open-vocabulary object-centric image retrieval involves the retrieval of images containing a specified object of interest, delineated by an open-set text query. As working on large image datasets becomes standard, solving this task efficiently has gained significant practical importance. Applications include targeted performance analysis of retrieved images using ad-hoc queries and hard example mining during training. Recent advancements in contrastive-based open vocabulary systems have yielded remarkable breakthroughs, facilitating large-scale open vocabulary image retrieval. However, these approaches use a single global embedding per image, thereby constraining the system’s ability to retrieve images containing relatively small object instances. Alternatively, incorporating local embeddings from detection pipelines faces scalability challenges, making it unsuitable for retrieval from large databases. In this work, we present a simple yet effective approach to object-centric open-vocabulary image retrieval. Our approach aggregates dense embeddings extracted from CLIP into a compact representation, essentially combining the scalability of image retrieval pipelines with the object identification capabilities of dense detection methods. We show the effectiveness of our scheme to the task by achieving significantly better results than global feature approaches on three datasets, increasing accuracy by up to 15 mAP points. We further integrate our scheme into a large scale retrieval framework and demonstrate our method’s advantages in terms of scalability and interpretability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google