Street TryOn: Learning In-the-Wild Virtual Try-On from Unpaired Person Images

要約

仮想試着は人気の研究テーマとなっていますが、既存の手法のほとんどは、背景がきれいなスタジオ画像に焦点を当てています。
彼らは、ペアのトレーニング データ、つまり、同じ衣服を着ている人々の画像とペアになった衣服の画像から、人の体にフィットするように衣服の画像をワープする方法を学習することで、このスタジオの試着環境で妥当な結果を達成できます。
このようなデータは、多くの場合、各衣類が単独で、または複数のモデルでデモンストレーションされている商用 Web サイトから収集されます。
対照的に、自然の風景のペアデータを収集するのは難しいため、雑然とした背景を背景にした何気ない人々の画像の仮想試着はほとんど研究されていません。
この研究では、(1) ストリートシーンでのパフォーマンスを評価するための Street TryOn ベンチマークを導入し、(2) ペアのデータなしで、一連のデータから学習できる新しい手法を提案することによって、現在の仮想試着研究のギャップを埋めます。
野生の人物の画像を直接撮影します。
私たちの手法は、ポーズとセマンティック セグメンテーションによって制御される拡散ベースの修復と組み合わせた新しい DensePose ワーピング補正手法を使用して、店舗および街頭ドメイン全体で堅牢なパフォーマンスを達成できます。
私たちの実験では、標準的なスタジオ試着タスクでは競争力のあるパフォーマンスを示し、ストリート試着タスクとクロスドメイン試着タスクでは SOTA パフォーマンスを実証しました。

要約(オリジナル)

Virtual try-on has become a popular research topic, but most existing methods focus on studio images with a clean background. They can achieve plausible results for this studio try-on setting by learning to warp a garment image to fit a person’s body from paired training data, i.e., garment images paired with images of people wearing the same garment. Such data is often collected from commercial websites, where each garment is demonstrated both by itself and on several models. By contrast, it is hard to collect paired data for in-the-wild scenes, and therefore, virtual try-on for casual images of people against cluttered backgrounds is rarely studied. In this work, we fill the gap in the current virtual try-on research by (1) introducing a Street TryOn benchmark to evaluate performance on street scenes and (2) proposing a novel method that can learn without paired data, from a set of in-the-wild person images directly. Our method can achieve robust performance across shop and street domains using a novel DensePose warping correction method combined with diffusion-based inpainting controlled by pose and semantic segmentation. Our experiments demonstrate competitive performance for standard studio try-on tasks and SOTA performance for street try-on and cross-domain try-on tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google