CaLa: Complementary Association Learning for Augmenting Composed Image Retrieval

要約

合成画像検索 (CIR) には、画像とテキストのペアのクエリに基づいてターゲット画像を検索することが含まれます。
現在の方法ではこれをクエリとターゲットのマッチング問題として扱いますが、我々は CIR トリプレットにはこの主な関係を超える追加の関連性が含まれていると主張します。
私たちの論文では、各トリプレットをグラフ ノードとして扱い、トリプレット内の 2 つの新しい関係を特定します。
まず、クエリテキストがクエリ画像とターゲット画像の間のブリッジとして機能する、テキストブリッジ画像配置の概念を導入します。
この関係をネットワーク学習に組み込むために、ヒンジベースのクロスアテンション メカニズムを提案します。
次に、CIR を、2 つの画像を構成して補完テキストを推論するクロスモーダル検索の形式として考慮し、補完テキスト推論を検討します。
これらの視点を効果的に統合するために、ツインの注意ベースのコンポジターを設計します。
これらの相補的な関連付けを明示的なクエリ ペアとターゲット画像の関係と組み合わせることで、CIR に対する包括的な制約セットを確立します。
私たちのフレームワークである CaLa (Complementary Association Learning for Augmenting Composited Image Retrieval) は、これらの洞察を活用します。
複数のバックボーンを備えた CIRR および FashionIQ ベンチマークで CaLa を評価し、合成画像検索における CaLa の優位性を実証しました。

要約(オリジナル)

Composed Image Retrieval (CIR) involves searching for target images based on an image-text pair query. While current methods treat this as a query-target matching problem, we argue that CIR triplets contain additional associations beyond this primary relation. In our paper, we identify two new relations within triplets, treating each triplet as a graph node. Firstly, we introduce the concept of text-bridged image alignment, where the query text serves as a bridge between the query image and the target image. We propose a hinge-based cross-attention mechanism to incorporate this relation into network learning. Secondly, we explore complementary text reasoning, considering CIR as a form of cross-modal retrieval where two images compose to reason about complementary text. To integrate these perspectives effectively, we design a twin attention-based compositor. By combining these complementary associations with the explicit query pair-target image relation, we establish a comprehensive set of constraints for CIR. Our framework, CaLa (Complementary Association Learning for Augmenting Composed Image Retrieval), leverages these insights. We evaluate CaLa on CIRR and FashionIQ benchmarks with multiple backbones, demonstrating its superiority in composed image retrieval.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google