Learning Fashion Compatibility from In-the-wild Images

要約

補完的なファッションの推奨事項は、衣装として「相性が良い」さまざまなカテゴリ（シャツ、靴など）のアイテムを特定することを目的としています。
ほとんどの既存のアプローチは、手動でキュレートされた互換性のあるアイテムの組み合わせを含むラベル付きの衣装データセットを使用して、このタスクの表現を学習します。
この作品では、人々が互換性のある服を着ることが多いという事実を活用して、自己監視学習を通じて、野生のストリートファッション画像から互換性予測の表現を学習することを提案します。
私たちの口実タスクは、同じ人が身に着けているさまざまなアイテムの表現が、他の人が身に着けているものと比較して近くなるように定式化されています。
さらに、推論中のインザワイルド画像とカタログ画像の間のドメインギャップを減らすために、2つのドメイン間の特徴分布の違いを最小限に抑える敵対的損失を導入します。
私たちは、2つの人気のあるファッション互換性ベンチマーク（PolyvoreとPolyvore-Disjointの衣装）で実験を行い、既存の自己監視アプローチよりも優れています。特に、トレーニングとテストの画像が異なるソースからのものであるクロスデータセット設定で重要です。

要約(オリジナル)

Complementary fashion recommendation aims at identifying items from different categories (e.g. shirt, footwear, etc.) that ‘go well together’ as an outfit. Most existing approaches learn representation for this task using labeled outfit datasets containing manually curated compatible item combinations. In this work, we propose to learn representations for compatibility prediction from in-the-wild street fashion images through self-supervised learning by leveraging the fact that people often wear compatible outfits. Our pretext task is formulated such that the representations of different items worn by the same person are closer compared to those worn by other people. Additionally, to reduce the domain gap between in-the-wild and catalog images during inference, we introduce an adversarial loss that minimizes the difference in feature distribution between the two domains. We conduct our experiments on two popular fashion compatibility benchmarks – Polyvore and Polyvore-Disjoint outfits, and outperform existing self-supervised approaches, particularly significant in cross-dataset setting where training and testing images are from different sources.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google