HS-Diffusion: Learning a Semantic-Mixing Diffusion Model for Head Swapping

要約

タイトル：HS-Diffusion：ヘッドスワップのためのセマンティックミキシング拡散モデルの学習

要約：

– 画像ベースのヘッドスワップタスクは、ソースヘッドを他のソースボディに完璧に縫い合わせることを目的としています。
– このタスクは、2つの主要な課題に直面しています。1）様々なソースからヘッドとボディを保存しながら、シームレスな遷移領域を生成すること。2）ヘッドスワップのためのペアリングされたデータセットやベンチマークがまだ存在しないこと。
– 本論文では、ヘッドスワップ用のセマンティックミキシング拡散モデル（HS-Diffusion）を提案しています。このモデルは、潜在的な拡散モデル（LDM）とセマンティックレイアウトジェネレータで構成されています。
– ソースヘッドとソースボディのセマンティックレイアウトをブレンドして遷移領域を補完し、グロスグレインのヘッドスワップを実現します。
– セマンティックミキシングLDMは、プログレッシブなフュージョンプロセスによって、インペイントしたレイアウトを条件として、ファイングレインのヘッドスワップを実装できます。
– 自然なインペイントのためのセマンティックキャリブレーション戦略と、ジオメトリックリアリズムのためのネックアライメントを提案しました。
– 重要なことに、新しい画像ベースのヘッドスワップベンチマークを構築し、2つのカスタムメトリック（Mask-FIDとFocal-FID）を設計しました。
– 広範な実験により、提案フレームワークの優越性が証明されました。コードはこちらからご覧いただけます：　https://github.com/qinghew/HS-Diffusion。

要約(オリジナル)

Image-based head swapping task aims to stitch a source head to another source body flawlessly. This seldom-studied task faces two major challenges: 1) Preserving the head and body from various sources while generating a seamless transition region. 2) No paired head swapping dataset and benchmark so far. In this paper, we propose a semantic-mixing diffusion model for head swapping (HS-Diffusion) which consists of a latent diffusion model (LDM) and a semantic layout generator. We blend the semantic layouts of source head and source body, and then inpaint the transition region by the semantic layout generator, achieving a coarse-grained head swapping. Semantic-mixing LDM can further implement a fine-grained head swapping with the inpainted layout as condition by a progressive fusion process, while preserving head and body with high-quality reconstruction. To this end, we propose a semantic calibration strategy for natural inpainting and a neck alignment for geometric realism. Importantly, we construct a new image-based head swapping benchmark and design two tailor-designed metrics (Mask-FID and Focal-FID). Extensive experiments demonstrate the superiority of our framework. The code will be available: https://github.com/qinghew/HS-Diffusion.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI