DETR-based Layered Clothing Segmentation and Fine-Grained Attribute Recognition

要約

タイトル： DETRベースの多層衣服セグメンテーションと細粒度属性認識

要約：

– 衣服セグメンテーションと細粒度属性認識は、コンピュータビジョンとファッションの交差点である難しいタスクであり、すべてのアンサンブル衣服インスタンスをセグメンテーションし、任意の入力人間画像の衣服製品の詳細な属性を認識する。
– 近年、これらのタスクに対する多くの新しいモデルが開発されていますが、セグメンテーションの精度は、レイヤー化された衣服やさまざまなスケールのファッション製品の場合には十分ではありません。
– 本論文では、高い精度でアンサンブル衣料品の細粒度属性をセグメンテーションおよび認識するために、新しいDEtection TRansformer（DETR）ベースの手法を提案しています。
– このモデルでは、異なるスケールの特徴を集計し、単一のインスタンスのさまざまなスケールのコンポーネントを決定し、それらを結合するための多層アテンションモジュールを提案しています。
– このモデルをFashionpediaデータセットでトレーニングし、レイヤー化された衣服のセグメンテーションおよび細粒度属性認識のタスクにおいてSOTAモデルを上回ることを示しています。

要約(オリジナル)

Clothing segmentation and fine-grained attribute recognition are challenging tasks at the crossing of computer vision and fashion, which segment the entire ensemble clothing instances as well as recognize detailed attributes of the clothing products from any input human images. Many new models have been developed for the tasks in recent years, nevertheless the segmentation accuracy is less than satisfactory in case of layered clothing or fashion products in different scales. In this paper, a new DEtection TRansformer (DETR) based method is proposed to segment and recognize fine-grained attributes of ensemble clothing instances with high accuracy. In this model, we propose a \textbf{multi-layered attention module} by aggregating features of different scales, determining the various scale components of a single instance, and merging them together. We train our model on the Fashionpedia dataset and demonstrate our method surpasses SOTA models in tasks of layered clothing segmentation and fine-grained attribute recognition.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI