FashionSAP: Symbols and Attributes Prompt for Fine-grained Fashion Vision-Language Pre-training

要約

タイトル：FashionSAP：Fine-grained Fashion Vision-Language Pre-trainingのためのSymbols and Attributes Prompt

要約：
– Fashion vision-language pre-training modelsは、幅広い下流タスクに有効であることが示されている。
– しかし、一般的なビジョン・ランゲージのプリトレーニング・モデルは、細分化されたドメイン特徴に注意を払わず、これらの特徴は特定のドメインタスクを一般的なタスクから区別する上で重要である。
– Fine-grained fashion vision-language pre-trainingのためのFashionSAP（Symbols and Attributes Prompt）を提案する。
– Fashion symbolsという、異なるファッションアイテムを表現し、様々な細分化されたファッション特徴を一般化する新しい抽象的なファッション概念レイヤーを提案する。
– 2つ目に、属性プロンプト方法を提案し、モデルが明示的にファッションアイテムの特定の属性を学習できるようにする。
– ファッションデータのフォーマットに基づいて適切なプロンプトテンプレートを設計する。
– 2つの公共ファッションベンチマーク、即ちFashionGenとFashionIQで包括的な実験を行い、FashionSAPが4つの主要なファッションタスクでSOTAのパフォーマンスを発揮する。
– アブレーションスタディからは、提案された抽象的なファッション記号と属性プロンプト方法が、ファッションドメインでの細分化された意味を効果的に獲得できることが示されている。
– FashionSAPからの明らかなパフォーマンスの向上は、将来のファッションタスクの研究の新しいベースラインを提供する。

要約(オリジナル)

Fashion vision-language pre-training models have shown efficacy for a wide range of downstream tasks. However, general vision-language pre-training models pay less attention to fine-grained domain features, while these features are important in distinguishing the specific domain tasks from general tasks. We propose a method for fine-grained fashion vision-language pre-training based on fashion Symbols and Attributes Prompt (FashionSAP) to model fine-grained multi-modalities fashion attributes and characteristics. Firstly, we propose the fashion symbols, a novel abstract fashion concept layer, to represent different fashion items and to generalize various kinds of fine-grained fashion features, making modelling fine-grained attributes more effective. Secondly, the attributes prompt method is proposed to make the model learn specific attributes of fashion items explicitly. We design proper prompt templates according to the format of fashion data. Comprehensive experiments are conducted on two public fashion benchmarks, i.e., FashionGen and FashionIQ, and FashionSAP gets SOTA performances for four popular fashion tasks. The ablation study also shows the proposed abstract fashion symbols, and the attribute prompt method enables the model to acquire fine-grained semantics in the fashion domain effectively. The obvious performance gains from FashionSAP provide a new baseline for future fashion task research.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI