要約
画像検索は、指定されたクエリに基づいて対応する画像を検索することを目的としています。
アプリケーション シナリオでは、ユーザーはさまざまなクエリ スタイルを通じて検索意図を表現することを意図しています。
ただし、現在の検索タスクは主にテキスト クエリの検索探索に重点を置いているため、検索クエリのオプションが制限され、ユーザーの意図に曖昧さまたは偏りが生じる可能性があります。
本稿では、様々なクエリスタイルに基づいた検索を可能にするスタイル多様化クエリベース画像検索タスクを提案する。
新しい設定を容易にするために、テキスト、スケッチ、低解像度、アートなどの多様なクエリ スタイルを包含する、最初の多様なスタイルの検索データセットを提案します。
また、軽量でスタイルを多様化した検索フレームワークを提案します。
さまざまなクエリ スタイル入力に対して、グラム マトリックスを適用してクエリのテクスチャ特徴を抽出し、それらをスタイル固有のベースを持つスタイル空間にクラスタリングします。
次に、style-init プロンプト調整モジュールを使用して、ビジュアル エンコーダーがクエリのテクスチャとスタイル情報を理解できるようにします。
実験では、style-init プロンプト調整戦略を採用した私たちのモデルが、スタイル多様化検索タスクにおいて既存の検索モデルよりも優れたパフォーマンスを発揮することを示しています。
さらに、スタイルの多様化されたクエリ(スケッチ+テキスト、アート+テキストなど)をモデル内で同時に取得できます。
他のクエリからの補助情報により、それぞれのクエリ内の検索パフォーマンスが向上します。
要約(オリジナル)
Image Retrieval aims to retrieve corresponding images based on a given query. In application scenarios, users intend to express their retrieval intent through various query styles. However, current retrieval tasks predominantly focus on text-query retrieval exploration, leading to limited retrieval query options and potential ambiguity or bias in user intention. In this paper, we propose the Style-Diversified Query-Based Image Retrieval task, which enables retrieval based on various query styles. To facilitate the novel setting, we propose the first Diverse-Style Retrieval dataset, encompassing diverse query styles including text, sketch, low-resolution, and art. We also propose a light-weighted style-diversified retrieval framework. For various query style inputs, we apply the Gram Matrix to extract the query’s textural features and cluster them into a style space with style-specific bases. Then we employ the style-init prompt tuning module to enable the visual encoder to comprehend the texture and style information of the query. Experiments demonstrate that our model, employing the style-init prompt tuning strategy, outperforms existing retrieval models on the style-diversified retrieval task. Moreover, style-diversified queries~(sketch+text, art+text, etc) can be simultaneously retrieved in our model. The auxiliary information from other queries enhances the retrieval performance within the respective query.
arxiv情報
| 著者 | Hao Li,Curise Jia,Peng Jin,Zesen Cheng,Kehan Li,Jialu Sui,Chang Liu,Li Yuan |
| 発行日 | 2023-12-08 14:30:37+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google