FashionFail: Addressing Failure Cases in Fashion Object Detection and Segmentation

要約

オンライン ショッピング画像のファッション オブジェクトの検出とセグメンテーションの領域では、既存の最先端のファッション解析モデルは、特にモデルが着用していないアパレルやクローズアップ ショットにさらされた場合に制限に直面します。
これらの失敗に対処するために、私たちは FashionFail を導入します。
オブジェクトの検出とセグメンテーションのための電子商取引画像を含む新しいファッション データセット。
データセットは、最新の基盤モデルを活用した新しいアノテーション ツールを使用して効率的にキュレーションされます。
FashionFail の主な目的は、モデルの堅牢性を評価するためのテスト ベッドとして機能することです。
私たちの分析により、Attribute-Mask R-CNN や Fashionformer などの主要なモデルの欠点が明らかになりました。
さらに、一般的な障害ケースを軽減し、モデルの堅牢性を向上させるために、単純なデータ拡張を使用したベースライン アプローチを提案します。
この研究を通じて、私たちは産業用途のためのファッション アイテムの検出とセグメンテーションのさらなる研究を刺激し、支援することを目指しています。
データセット、アノテーション ツール、コード、モデルは \url{https://rizavelioglu.github.io/fashionfail/} で入手できます。

要約(オリジナル)

In the realm of fashion object detection and segmentation for online shopping images, existing state-of-the-art fashion parsing models encounter limitations, particularly when exposed to non-model-worn apparel and close-up shots. To address these failures, we introduce FashionFail; a new fashion dataset with e-commerce images for object detection and segmentation. The dataset is efficiently curated using our novel annotation tool that leverages recent foundation models. The primary objective of FashionFail is to serve as a test bed for evaluating the robustness of models. Our analysis reveals the shortcomings of leading models, such as Attribute-Mask R-CNN and Fashionformer. Additionally, we propose a baseline approach using naive data augmentation to mitigate common failure cases and improve model robustness. Through this work, we aim to inspire and support further research in fashion item detection and segmentation for industrial applications. The dataset, annotation tool, code, and models are available at \url{https://rizavelioglu.github.io/fashionfail/}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google