HYB-VITON: A Hybrid Approach to Virtual Try-On Combining Explicit and Implicit Warping

要約

仮想試着システムは電子商取引において大きな可能性を秘めており、顧客が自分で衣服を着て視覚的に確認できるようになります。
既存の画像ベースの手法は 2 つのカテゴリに分類されます。1 つは衣服の画像を人物の画像に直接ワープする手法 (明示的ワーピング)、もう 1 つは交差注意を使用して特定の衣服を再構築する手法 (暗黙的ワーピング) です。
明示的なワーピングは衣服のディテールを保持しますが、多くの場合非現実的な出力を生成します。一方、暗黙的なワーピングは自然な再構築を実現しますが、細かいディテールに苦労します。
私たちは、各方法の利点を組み合わせ、反りのある衣類の前処理パイプラインと新しいトレーニング オプションの両方を含む新しいアプローチである HYB-VITON を提案します。
これらのコンポーネントを使用すると、暗黙的なワーピングの自然な再構築を活用しながら、明示的にワーピングされた衣服の有益な領域を利用できるようになります。
一連の実験により、HYB-VITON は最近の拡散ベースの方法よりも衣服のディテールをより忠実に保存し、最先端の明示的なワーピング方法よりも現実的な結果を生み出すことが実証されました。

要約(オリジナル)

Virtual try-on systems have significant potential in e-commerce, allowing customers to visualize garments on themselves. Existing image-based methods fall into two categories: those that directly warp garment-images onto person-images (explicit warping), and those using cross-attention to reconstruct given garments (implicit warping). Explicit warping preserves garment details but often produces unrealistic output, while implicit warping achieves natural reconstruction but struggles with fine details. We propose HYB-VITON, a novel approach that combines the advantages of each method and includes both a preprocessing pipeline for warped garments and a novel training option. These components allow us to utilize beneficial regions of explicitly warped garments while leveraging the natural reconstruction of implicit warping. A series of experiments demonstrates that HYB-VITON preserves garment details more faithfully than recent diffusion-based methods, while producing more realistic results than a state-of-the-art explicit warping method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google