要約
Composed Image Retrieval（CIR）は、ユーザーが参照画像と参照画像への望ましい変更を指定する変更画像と変更テキストを含むマルチモーダルクエリを使用して、ユーザーがターゲット画像を検索できるようにする新たでありながら挑戦的なタスクです。
その重要な学術的および実用的な価値を考えると、CIRは、特に深い学習の進歩により、コンピュータービジョンと機械学習コミュニティに関心のある急速に成長している領域になりました。
私たちの知る限り、この分野のタイムリーな概要を提供するCIRの包括的なレビューは現在ありません。
したがって、特にACM TOI、SIGIR、CVPRを含むトップカンファレンスやジャーナルで120を超える出版物からの洞察を統合し、既存の監視されたCIRおよびゼロショットCIRモデルを微細粒度分類法を使用して体系的に分類します。
包括的なレビューについては、属性ベースのCIRやダイアログベースのCIRなど、CIRに密接に関連するタスクのアプローチについても簡単に説明します。
さらに、評価のためのベンチマークデータセットを要約し、複数のデータセットで実験結果を比較することにより、既存の監視済みおよびゼロショットCIRメソッドを分析します。
さらに、私たちはこの分野で有望な将来の方向性を提示し、さらなる調査に関心のある研究者に実用的な洞察を提供します。
関連する作品のキュレーションされたコレクションは、https://github.com/haokunwen/awesome-composed-image-retrievalで維持され、継続的に更新されます。
要約(オリジナル)
Composed Image Retrieval (CIR) is an emerging yet challenging task that allows users to search for target images using a multimodal query, comprising a reference image and a modification text specifying the user’s desired changes to the reference image. Given its significant academic and practical value, CIR has become a rapidly growing area of interest in the computer vision and machine learning communities, particularly with the advances in deep learning. To the best of our knowledge, there is currently no comprehensive review of CIR to provide a timely overview of this field. Therefore, we synthesize insights from over 120 publications in top conferences and journals, including ACM TOIS, SIGIR, and CVPR In particular, we systematically categorize existing supervised CIR and zero-shot CIR models using a fine-grained taxonomy. For a comprehensive review, we also briefly discuss approaches for tasks closely related to CIR, such as attribute-based CIR and dialog-based CIR. Additionally, we summarize benchmark datasets for evaluation and analyze existing supervised and zero-shot CIR methods by comparing experimental results across multiple datasets. Furthermore, we present promising future directions in this field, offering practical insights for researchers interested in further exploration. The curated collection of related works is maintained and continuously updated in https://github.com/haokunwen/Awesome-Composed-Image-Retrieval.
arxiv情報
| 著者 | Xuemeng Song,Haoqiang Lin,Haokun Wen,Bohan Hou,Mingzhu Xu,Liqiang Nie |
| 発行日 | 2025-03-04 15:16:52+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google