Person Image Synthesis via Denoising Diffusion Model

要約

ポーズ誘導人物画像生成タスクでは、任意のポーズで人間の写実的な画像を合成する必要があります。
既存のアプローチは、必ずしも現実的なテクスチャを維持したり、複雑な変形や深刻なオクルージョンを処理するのに苦労する高密度の対応を必要としない生成的な敵対的ネットワークを使用します。
この作業では、強力なサンプルの多様性と学習されたデータ分布の強化されたモード カバレッジを使用して、忠実度の高い人物画像合成にノイズ除去拡散モデルを適用する方法を示します。
私たちが提案する人物画像拡散モデル (PIDM) は、複雑な転送問題を一連のより単純な前後のノイズ除去ステップに分解します。
これは、忠実なテクスチャと歪みのない外観の詳細をもたらすもっともらしいソースからターゲットへの変換軌跡を学習するのに役立ちます。
クロスアテンションに基づく「テクスチャ拡散モジュール」を導入して、ソース画像とターゲット画像で利用可能な外観とポーズ情報の対応を正確にモデル化します。
さらに、姿勢と外見の両方の情報に関して、条件付き入力と合成出力との間の類似性を確保するために、「絡み合っていない分類子のないガイダンス」を提案します。
2 つの大規模なベンチマークとユーザー調査に関する広範な結果は、困難なシナリオの下で提案されたアプローチのフォトリアリズムを示しています。
また、生成された画像が下流のタスクでどのように役立つかを示します。
私たちのコードとモデルは公開されます。

要約(オリジナル)

The pose-guided person image generation task requires synthesizing photorealistic images of humans in arbitrary poses. The existing approaches use generative adversarial networks that do not necessarily maintain realistic textures or need dense correspondences that struggle to handle complex deformations and severe occlusions. In this work, we show how denoising diffusion models can be applied for high-fidelity person image synthesis with strong sample diversity and enhanced mode coverage of the learnt data distribution. Our proposed Person Image Diffusion Model (PIDM) disintegrates the complex transfer problem into a series of simpler forward-backward denoising steps. This helps in learning plausible source-to-target transformation trajectories that result in faithful textures and undistorted appearance details. We introduce a ‘texture diffusion module’ based on cross-attention to accurately model the correspondences between appearance and pose information available in source and target images. Further, we propose ‘disentangled classifier-free guidance’ to ensure close resemblance between the conditional inputs and the synthesized output in terms of both pose and appearance information. Our extensive results on two large-scale benchmarks and a user study demonstrate the photorealism of our proposed approach under challenging scenarios. We also show how our generated images can help in downstream tasks. Our code and models will be publicly released.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google