PASTA-GAN++: A Versatile Framework for High-Resolution Unpaired Virtual Try-on

要約

画像ベースの仮想試着は、その途方もない現実世界の可能性のために、人間中心の画像生成の最も有望なアプリケーションの1つです。
この作業では、多目的な仮想試着ソリューションを探求するために一歩前進します。これは、教師なしトレーニング、任意の衣服カテゴリ、および制御可能な衣服編集をサポートする必要があるという3つの主要なプロパティを備えている必要があると主張しています。
この目的のために、高解像度の対になっていない仮想試着のための多用途システムを実現するために、特性を保持するエンドツーエンドネットワークであるPAtchルーティングSpaTially-Adaptive GAN ++（PASTA-GAN ++）を提案します。
具体的には、PASTA-GAN ++は、無傷の衣服を正規化されたパッチに分離する革新的なパッチルーティング解除モジュールで構成されています。これにより、衣服の空間情報を排除しながら衣服のスタイル情報を保持できるため、教師なしトレーニング中の過剰適合の問題が軽減されます。
さらに、PASTA-GAN ++は、パッチベースの衣服表現とパッチガイド付き解析合成ブロックを導入し、任意の衣服カテゴリを処理し、ローカルの衣服編集をサポートできるようにします。
最後に、リアルなテクスチャの詳細で試着結果を取得するために、PASTA-GAN ++は、新しい空間適応型の残差モジュールを組み込んで、粗い反った衣服の特徴をジェネレータに注入します。
新しく収集されたUnPaired仮想試着（UPT）データセットに関する広範な実験により、既存のSOTAに対するPASTA-GAN ++の優位性と、制御可能な衣服編集機能が実証されています。

要約(オリジナル)

Image-based virtual try-on is one of the most promising applications of human-centric image generation due to its tremendous real-world potential. In this work, we take a step forwards to explore versatile virtual try-on solutions, which we argue should possess three main properties, namely, they should support unsupervised training, arbitrary garment categories, and controllable garment editing. To this end, we propose a characteristic-preserving end-to-end network, the PAtch-routed SpaTially-Adaptive GAN++ (PASTA-GAN++), to achieve a versatile system for high-resolution unpaired virtual try-on. Specifically, our PASTA-GAN++ consists of an innovative patch-routed disentanglement module to decouple the intact garment into normalized patches, which is capable of retaining garment style information while eliminating the garment spatial information, thus alleviating the overfitting issue during unsupervised training. Furthermore, PASTA-GAN++ introduces a patch-based garment representation and a patch-guided parsing synthesis block, allowing it to handle arbitrary garment categories and support local garment editing. Finally, to obtain try-on results with realistic texture details, PASTA-GAN++ incorporates a novel spatially-adaptive residual module to inject the coarse warped garment feature into the generator. Extensive experiments on our newly collected UnPaired virtual Try-on (UPT) dataset demonstrate the superiority of PASTA-GAN++ over existing SOTAs and its ability for controllable garment editing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google