PFDM: Parser-Free Virtual Try-on via Diffusion Model

要約

バーチャル試着は、オンラインおよび店舗での衣服のショッピング体験を大幅に向上させることができ、コンピュータビジョンの幅広い関心を集めている。しかし、高忠実度の試着パフォーマンスを達成するために、ほとんどの最新手法は、多くの場合、完璧に近いパーサーや手作業によるラベリングによって生成される、正確なセグメンテーションマスクに依存している。このボトルネックを克服するために、我々は拡散モデル(PFDM)に基づくパーサーフリーの仮想試行法を提案する。PFDMは、2つの画像が与えられたとき、他の情報なしに暗黙的にワーピングすることで、対象人物に衣服をシームレスに「着用」させることができる。このモデルを効果的に学習するために、多数の擬似画像を合成し、様々な衣服を人物に着用させてサンプルペアを構築する。大規模な拡張データセットによって監視され、提案された衣服融合注意（GFA）メカニズムを用いて人物と衣服の特徴を融合する。実験により、我々の提案するPFDMが、複雑なケースをうまく処理し、忠実度の高い画像を合成し、最新の構文解析不要モデルと構文解析ベースモデルの両方を凌駕することが実証された。

要約(オリジナル)

Virtual try-on can significantly improve the garment shopping experiences in both online and in-store scenarios, attracting broad interest in computer vision. However, to achieve high-fidelity try-on performance, most state-of-the-art methods still rely on accurate segmentation masks, which are often produced by near-perfect parsers or manual labeling. To overcome the bottleneck, we propose a parser-free virtual try-on method based on the diffusion model (PFDM). Given two images, PFDM can ‘wear’ garments on the target person seamlessly by implicitly warping without any other information. To learn the model effectively, we synthesize many pseudo-images and construct sample pairs by wearing various garments on persons. Supervised by the large-scale expanded dataset, we fuse the person and garment features using a proposed Garment Fusion Attention (GFA) mechanism. Experiments demonstrate that our proposed PFDM can successfully handle complex cases, synthesize high-fidelity images, and outperform both state-of-the-art parser-free and parser-based models.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL