Try-On-Adapter: A Simple and Flexible Try-On Paradigm

要約

オンライン ショッピングで広く使用されている画像ベースの仮想試着は、特定の衣服に合わせて自然に着飾った人の画像を生成することを目的としており、重要な研究と商業的可能性をもたらします。
試着の主な課題は、衣服の詳細を維持しながら、モデルが衣服を着用しているリアルな画像を生成することです。
これまでの手法では、元のモデルの立位画像の特定の部分をマスクし、その後、マスクされた領域を修復して、対応する参照衣服を着用したモデルのリアルな画像を生成することに焦点を当てており、試着タスクを修復タスクとして扱います。
しかしながら、このような手段では、ユーザは完全で高品質な立ち画像を提供する必要があり、実際の用途では使いにくい。
この論文では、既存の修復パラダイムとは異なるアウトペイント パラダイムである Try-On-Adapter (TOA) を提案します。
当社の TOA は、指定された顔と衣服を保存し、画像の残りの部分を自然に想像し、衣服の特性や人間のポーズなどのさまざまな条件に合わせて柔軟な制御機能を提供します。
実験では、TOA は、定性的な比較で比較的低品質の顔と衣服の画像が与えられた場合でも、仮想試着タスクで優れたパフォーマンスを示しました。
さらに、TOA は、定量的比較において VITON-HD データセットのペアとアンペアの FID スコア 5.56 および 7.23 という最先端のパフォーマンスを達成します。

要約(オリジナル)

Image-based virtual try-on, widely used in online shopping, aims to generate images of a naturally dressed person conditioned on certain garments, providing significant research and commercial potential. A key challenge of try-on is to generate realistic images of the model wearing the garments while preserving the details of the garments. Previous methods focus on masking certain parts of the original model’s standing image, and then inpainting on masked areas to generate realistic images of the model wearing corresponding reference garments, which treat the try-on task as an inpainting task. However, such implements require the user to provide a complete, high-quality standing image, which is user-unfriendly in practical applications. In this paper, we propose Try-On-Adapter (TOA), an outpainting paradigm that differs from the existing inpainting paradigm. Our TOA can preserve the given face and garment, naturally imagine the rest parts of the image, and provide flexible control ability with various conditions, e.g., garment properties and human pose. In the experiments, TOA shows excellent performance on the virtual try-on task even given relatively low-quality face and garment images in qualitative comparisons. Additionally, TOA achieves the state-of-the-art performance of FID scores 5.56 and 7.23 for paired and unpaired on the VITON-HD dataset in quantitative comparisons.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google