TryOffDiff: Virtual-Try-Off via High-Fidelity Garment Reconstruction using Diffusion Models

要約

この論文では、衣服を着た個人の 1 枚の写真から標準化された衣服画像を生成することに焦点を当てた新しいタスクである Virtual Try-Off (VTOFF) を紹介します。
デジタル的にモデルに試着を行う従来の仮想試着 (VTON) とは異なり、VTOFF は標準的な衣服画像を抽出することを目的としており、衣服の形状、質感、複雑なパターンをキャプチャする際に独特の課題をもたらします。
この明確に定義されたターゲットにより、VTOFF は生成モデルの再構成忠実度を評価するのに特に効果的になります。
TryOffDiff は、SigLIP ベースの視覚的調整を使用して安定拡散を適応させ、高い忠実度とディテールの保持を保証するモデルを紹介します。
修正された VITON-HD データセットでの実験では、私たちのアプローチが、前処理と後処理のステップが少なく、ポーズ転送と仮想試着に基づくベースライン手法よりも優れていることが示されています。
私たちの分析により、従来の画像生成メトリクスでは再構成の品質を適切に評価できないことが明らかになったため、より正確な評価のために DISTS に依存するようになりました。
私たちの結果は、電子商取引アプリケーションの製品イメージを強化し、生成モデルの評価を進歩させ、高忠実度の再構成に関する将来の研究にインスピレーションを与える VTOFF の可能性を強調しています。
デモ、コード、モデルは https://rizavelioglu.github.io/tryoffdiff/ から入手できます。

要約(オリジナル)

This paper introduces Virtual Try-Off (VTOFF), a novel task focused on generating standardized garment images from single photos of clothed individuals. Unlike traditional Virtual Try-On (VTON), which digitally dresses models, VTOFF aims to extract a canonical garment image, posing unique challenges in capturing garment shape, texture, and intricate patterns. This well-defined target makes VTOFF particularly effective for evaluating reconstruction fidelity in generative models. We present TryOffDiff, a model that adapts Stable Diffusion with SigLIP-based visual conditioning to ensure high fidelity and detail retention. Experiments on a modified VITON-HD dataset show that our approach outperforms baseline methods based on pose transfer and virtual try-on with fewer pre- and post-processing steps. Our analysis reveals that traditional image generation metrics inadequately assess reconstruction quality, prompting us to rely on DISTS for more accurate evaluation. Our results highlight the potential of VTOFF to enhance product imagery in e-commerce applications, advance generative model evaluation, and inspire future work on high-fidelity reconstruction. Demo, code, and models are available at: https://rizavelioglu.github.io/tryoffdiff/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google