From Region to Patch: Attribute-Aware Foreground-Background Contrastive Learning for Fine-Grained Fashion Retrieval

要約

属性固有のファッション検索 (ASFR) は、近年ますます注目を集めている、困難な情報検索タスクです。
全体的な類似性の最適化に主に焦点を当てた従来のファッション検索とは異なり、ASFR タスクは属性固有の類似性に重点を置いているため、よりきめ細かく解釈可能な検索結果が得られます。
属性固有の類似性は通常、画像の特定の微妙な領域に対応するため、領域認識ブランチとパッチ認識ブランチで構成される領域からパッチへのフレームワーク (RPF) を提案して、きめ細かい属性関連を抽出します。
視覚的な特徴により、粗いものから細かいものまで正確に検索できます。
特に、領域認識ブランチは、特定の属性のセマンティクスに関連する潜在的な領域を特定するために最初に利用されます。
次に、特定された領域が粗く、背景の視覚コンテンツがまだ含まれていることを考慮して、前の増幅された領域からパッチごとの属性関連の詳細をキャプチャするパッチ認識分岐が提案されます。
このようなハイブリッド アーキテクチャは、領域の位置特定と特徴抽出の間で適切なバランスをとります。
さらに、属性に関連する前景の視覚的特徴を識別することのみに焦点を当てた以前の研究とは異なり、属性に無関係な背景の特徴も、対照的な方法で詳細な視覚的コンテキストを区別するために重要であると主張します。
したがって、属性固有の表現の識別を改善するために、前景および背景の表現に基づく新しい E-InfoNCE 損失がさらに提案されます。
3 つのデータセットに対する広範な実験により、提案したフレームワークの有効性が実証され、ドメイン外のファッション画像に対する RPF の適切な一般化も示されました。
私たちのソースコードは https://github.com/HuiGuanLab/RPF で入手できます。

要約(オリジナル)

Attribute-specific fashion retrieval (ASFR) is a challenging information retrieval task, which has attracted increasing attention in recent years. Different from traditional fashion retrieval which mainly focuses on optimizing holistic similarity, the ASFR task concentrates on attribute-specific similarity, resulting in more fine-grained and interpretable retrieval results. As the attribute-specific similarity typically corresponds to the specific subtle regions of images, we propose a Region-to-Patch Framework (RPF) that consists of a region-aware branch and a patch-aware branch to extract fine-grained attribute-related visual features for precise retrieval in a coarse-to-fine manner. In particular, the region-aware branch is first to be utilized to locate the potential regions related to the semantic of the given attribute. Then, considering that the located region is coarse and still contains the background visual contents, the patch-aware branch is proposed to capture patch-wise attribute-related details from the previous amplified region. Such a hybrid architecture strikes a proper balance between region localization and feature extraction. Besides, different from previous works that solely focus on discriminating the attribute-relevant foreground visual features, we argue that the attribute-irrelevant background features are also crucial for distinguishing the detailed visual contexts in a contrastive manner. Therefore, a novel E-InfoNCE loss based on the foreground and background representations is further proposed to improve the discrimination of attribute-specific representation. Extensive experiments on three datasets demonstrate the effectiveness of our proposed framework, and also show a decent generalization of our RPF on out-of-domain fashion images. Our source code is available at https://github.com/HuiGuanLab/RPF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google