Image-Based Virtual Try-On: A Survey

要約

画像ベースの仮想試着は、自然に服を着た人物の画像と衣服の画像を合成することを目的としており、オンライン ショッピングに革命をもたらし、画像生成内の関連トピックを刺激し、研究の重要性と商業的な可能性の両方を示しています。
しかし、現在の研究の進歩と商業的応用の間には大きな隔たりがあり、開発を加速するためのこの分野に対する包括的な概要が存在しません。
この調査では、パイプライン アーキテクチャ、人物表現、および試着表示、衣類の歪み、試着ステージなどの主要モジュールの側面における最先端の技術と方法論の包括的な分析を提供します。
CLIP を使用して新しい意味論的基準を提案し、同じデータセット上で均一に実装された評価指標を使用して代表的な手法を評価します。
現在のオープンソース手法の定量的および定性的評価に加えて、ControlNet を利用して最近の大規模画像生成モデル (PBE) を微調整し、画像ベースの仮想試着タスクにおける大規模モデルの将来の可能性を示します。
最後に、未解決の問題が明らかになり、主要な傾向を特定し、さらなる探求を促すために将来の研究の方向性が予測されます。
統一的に実装された評価指標、データセット、および収集されたメソッドは、https://github.com/little-misfit/Survey-Of-Virtual-Try-On で公開されます。

要約(オリジナル)

Image-based virtual try-on aims to synthesize a naturally dressed person image with a clothing image, which revolutionizes online shopping and inspires related topics within image generation, showing both research significance and commercial potentials. However, there is a great gap between current research progress and commercial applications and an absence of comprehensive overview towards this field to accelerate the development. In this survey, we provide a comprehensive analysis of the state-of-the-art techniques and methodologies in aspects of pipeline architecture, person representation and key modules such as try-on indication, clothing warping and try-on stage. We propose a new semantic criteria with CLIP, and evaluate representative methods with uniformly implemented evaluation metrics on the same dataset. In addition to quantitative and qualitative evaluation of current open-source methods, we also utilize ControlNet to fine-tune a recent large image generation model (PBE) to show future potentials of large-scale models on image-based virtual try-on task. Finally, unresolved issues are revealed and future research directions are prospected to identify key trends and inspire further exploration. The uniformly implemented evaluation metrics, dataset and collected methods will be made public available at https://github.com/little-misfit/Survey-Of-Virtual-Try-On.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google