Stable-Hair: Real-World Hair Transfer via Diffusion Model

要約

現在のヘアトランスファー方法は、多様で複雑なヘアスタイルを処理するのが難しく、現実世界のシナリオへの適用が制限されています。
この論文では、\textit{Stable-Hair} という名前の新しい拡散ベースのヘア転送フレームワークを提案します。これは、仮想ヘアの試着のために、現実世界の幅広いヘアスタイルをユーザーが指定した顔に堅牢に転送します。
この目標を達成するために、Stable-Hair フレームワークは 2 段階のパイプラインとして設計されています。
最初の段階では、安定した拡散と並行して Bald Converter をトレーニングして、ユーザーが提供した顔画像から体毛を除去し、その結果、bald 画像が生成されます。
第 2 段階では、Hair Extractor と Latent IdentityNet を特別に設計し、ターゲットのヘアスタイルを非常に詳細かつ高忠実度でハゲ画像に転送しました。
Hair Extractor は、希望のヘアスタイルを持つ参照画像をエンコードするようにトレーニングされ、Latent IdentityNet はアイデンティティと背景の一貫性を保証します。
ソース画像と転送結果の間の色の偏差を最小限に抑えるために、Bald Converter と Latent IdentityNet の両方として機能する新しい Latent ControlNet アーキテクチャを導入しました。
厳選されたトリプレット データセットでトレーニングした後、私たちのメソッドは、非常に詳細で忠実度の高いヘアスタイルをソース画像に正確に転送します。
広範な実験により、当社のアプローチが既存の毛髪移植方法と比較して最先端のパフォーマンスを達成できることが実証されています。
プロジェクト ページ: \textcolor{red}{\url{https://xiaojiu-z.github.io/Stable-Hair.github.io/}}

要約(オリジナル)

Current hair transfer methods struggle to handle diverse and intricate hairstyles, limiting their applicability in real-world scenarios. In this paper, we propose a novel diffusion-based hair transfer framework, named \textit{Stable-Hair}, which robustly transfers a wide range of real-world hairstyles to user-provided faces for virtual hair try-on. To achieve this goal, our Stable-Hair framework is designed as a two-stage pipeline. In the first stage, we train a Bald Converter alongside stable diffusion to remove hair from the user-provided face images, resulting in bald images. In the second stage, we specifically designed a Hair Extractor and a Latent IdentityNet to transfer the target hairstyle with highly detailed and high-fidelity to the bald image. The Hair Extractor is trained to encode reference images with the desired hairstyles, while the Latent IdentityNet ensures consistency in identity and background. To minimize color deviations between source images and transfer results, we introduce a novel Latent ControlNet architecture, which functions as both the Bald Converter and Latent IdentityNet. After training on our curated triplet dataset, our method accurately transfers highly detailed and high-fidelity hairstyles to the source images. Extensive experiments demonstrate that our approach achieves state-of-the-art performance compared to existing hair transfer methods. Project page: \textcolor{red}{\url{https://xiaojiu-z.github.io/Stable-Hair.github.io/}}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google