Taming the Power of Diffusion Models for High-Quality Virtual Try-On with Appearance Flow

要約

仮想試着は、人間と衣服の両方の詳細を保持しながら、ある画像から別の画像に衣服を転送することを目的とした重要な画像合成タスクです。
既存の手法の多くはこれを実現するために敵対的生成ネットワーク (GAN) に依存していますが、特に高解像度では依然として欠陥が発生する可能性があります。
最近、拡散モデルは、さまざまなアプリケーションで高品質の画像を生成するための有望な代替手段として浮上しています。
しかし、拡散モデルを修復に導くための条件として衣服を使用するだけでは、衣服のディテールを維持するには不十分です。
この課題を克服するために、ワーピング モジュールを活用して拡散モデルの生成を効果的にガイドする、サンプルベースの修復アプローチを提案します。
ワーピング モジュールは衣服の初期処理を実行します。これは、衣服の局所的な詳細を保存するのに役立ちます。
次に、歪んだ衣服を衣服に依存しない人物画像と結合し、拡散モデルの入力としてノイズを追加します。
さらに、歪んだ衣服は各ノイズ除去プロセスのローカル条件として使用され、結果として得られる出力が可能な限り詳細を保持するようにします。
当社のアプローチ、つまり仮想試着用の拡散ベースの条件付き修復 (DCI-VTON) は、拡散モデルの力を効果的に利用し、ワーピング モジュールの組み込みにより、高品質で現実的な仮想試着結果を生成するのに役立ちます。
VITON-HD の実験結果は、私たちの方法の有効性と優位性を示しています。

要約(オリジナル)

Virtual try-on is a critical image synthesis task that aims to transfer clothes from one image to another while preserving the details of both humans and clothes. While many existing methods rely on Generative Adversarial Networks (GANs) to achieve this, flaws can still occur, particularly at high resolutions. Recently, the diffusion model has emerged as a promising alternative for generating high-quality images in various applications. However, simply using clothes as a condition for guiding the diffusion model to inpaint is insufficient to maintain the details of the clothes. To overcome this challenge, we propose an exemplar-based inpainting approach that leverages a warping module to guide the diffusion model’s generation effectively. The warping module performs initial processing on the clothes, which helps to preserve the local details of the clothes. We then combine the warped clothes with clothes-agnostic person image and add noise as the input of diffusion model. Additionally, the warped clothes is used as local conditions for each denoising process to ensure that the resulting output retains as much detail as possible. Our approach, namely Diffusion-based Conditional Inpainting for Virtual Try-ON (DCI-VTON), effectively utilizes the power of the diffusion model, and the incorporation of the warping module helps to produce high-quality and realistic virtual try-on results. Experimental results on VITON-HD demonstrate the effectiveness and superiority of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google