Shape-Guided Clothing Warping for Virtual Try-On

要約

画像ベースのVirtual Try-Onは、ポーズの一貫性を維持しながら、人の画像にシームレスにフィットすることを目指しています。
既存の方法は、一般に、薄いプレートスプライン（TPS）変換または外観の流れを使用して、その人の体と調整するためにショップ内の衣服を変形させます。
彼らの有望なパフォーマンスにもかかわらず、これらの方法はしばしば細かい詳細に対する正確な制御を欠いており、衣服と人の体の間の形の矛盾、および露出した四肢領域の歪みにつながります。
これらの課題に取り組むために、Virtual Try-Onと呼ばれるSCW-Vtonと呼ばれる新しい形状誘導衣類ワーピング方法を提案します。これには、グローバルな形状の制約と追加の四肢のテクスチャが組み込まれており、ゆがんだ衣服のリアリズムと一貫性を高め、結果を試してみます。
衣料品の歪みのグローバルな形状の制約を統合するために、形状経路とフローパスで構成されるデュアルパス衣類ワーピングモジュールを考案します。
前者のパスは、人の体に整列した衣服の形状をキャプチャし、後者のパスは衣服形状の再構造前と再変形の間のマッピングをレバレッジして、外観の流れの推定を導きます。
さらに、トライオン結果の四肢領域の歪みを軽減するために、マスクされた画像モデリングに基づいて四肢再建ネットワークを開発することにより、詳細な四肢ガイダンスを統合します。
SCW-VTONの利用により、衣服の形状の一貫性が強化され、詳細を正確に制御することで、トライオン結果を生成することができます。
広範な実験は、定性的および定量的に最先端の方法よりもアプローチの優位性を示しています。
このコードは、https：//github.com/xyhanhit/scw-vtonで入手できます。

要約(オリジナル)

Image-based virtual try-on aims to seamlessly fit in-shop clothing to a person image while maintaining pose consistency. Existing methods commonly employ the thin plate spline (TPS) transformation or appearance flow to deform in-shop clothing for aligning with the person’s body. Despite their promising performance, these methods often lack precise control over fine details, leading to inconsistencies in shape between clothing and the person’s body as well as distortions in exposed limb regions. To tackle these challenges, we propose a novel shape-guided clothing warping method for virtual try-on, dubbed SCW-VTON, which incorporates global shape constraints and additional limb textures to enhance the realism and consistency of the warped clothing and try-on results. To integrate global shape constraints for clothing warping, we devise a dual-path clothing warping module comprising a shape path and a flow path. The former path captures the clothing shape aligned with the person’s body, while the latter path leverages the mapping between the pre- and post-deformation of the clothing shape to guide the estimation of appearance flow. Furthermore, to alleviate distortions in limb regions of try-on results, we integrate detailed limb guidance by developing a limb reconstruction network based on masked image modeling. Through the utilization of SCW-VTON, we are able to generate try-on results with enhanced clothing shape consistency and precise control over details. Extensive experiments demonstrate the superiority of our approach over state-of-the-art methods both qualitatively and quantitatively. The code is available at https://github.com/xyhanHIT/SCW-VTON.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google