Fill in Fabrics: Body-Aware Self-Supervised Inpainting for Image-Based Virtual Try-On

要約

従来のバーチャル試着手法は、通常、衣服と人物の位置関係を合わせることに重点を置いており、フォトリアルなバーチャル試着に不可欠な、人物の複雑な姿勢、形状、肌の色、および衣服全体の構造を利用する能力が制限されている。この潜在的な弱点に対処するため、我々はFIFA（Fill in Fabrics）モデルを提案する。これは、Fabricatorと、Segmenter、Warper、Fuserからなる統合的な仮想試着パイプラインに基づく自己教師付き条件付き生成敵対ネットワークに基づくフレームワークである。ファブリケータは、マスクされた衣服を入力とし、衣服の全体構造を学習しながら、衣服を再構成することを目的とする。そして、FabricatorからWarperに学習した表現を転送することで、仮想試着パイプラインを学習し、ターゲットとなる衣服のゆがみや洗練を図る。また、マルチスケール構造制約を用いて、複数のスケールでグローバルなコンテキストを強制しながら、人物のポーズと形状によりフィットするようにターゲット服をワープさせることも提案する。広範な実験により、我々のFIFAモデルは、服の仮想試着のための標準的なVITONデータセットにおいて最先端の結果を達成し、複雑なポーズを扱い、服の質感と刺繍を保持するのに有効であることが示された。

要約(オリジナル)

Previous virtual try-on methods usually focus on aligning a clothing item with a person, limiting their ability to exploit the complex pose, shape and skin color of the person, as well as the overall structure of the clothing, which is vital to photo-realistic virtual try-on. To address this potential weakness, we propose a fill in fabrics (FIFA) model, a self-supervised conditional generative adversarial network based framework comprised of a Fabricator and a unified virtual try-on pipeline with a Segmenter, Warper and Fuser. The Fabricator aims to reconstruct the clothing image when provided with a masked clothing as input, and learns the overall structure of the clothing by filling in fabrics. A virtual try-on pipeline is then trained by transferring the learned representations from the Fabricator to Warper in an effort to warp and refine the target clothing. We also propose to use a multi-scale structural constraint to enforce global context at multiple scales while warping the target clothing to better fit the pose and shape of the person. Extensive experiments demonstrate that our FIFA model achieves state-of-the-art results on the standard VITON dataset for virtual try-on of clothing items, and is shown to be effective at handling complex poses and retaining the texture and embroidery of the clothing.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL