Stable-Makeup: When Real-World Makeup Transfer Meets Diffusion Model

要約

現在のメイクアップ転送方法は、単純なメイクアップスタイルに限定されており、実際のシナリオで適用するのが難しくなっています。
このペーパーでは、幅広い拡散ベースのメイクアップ移転方法である安定したメイクアップを、ユーザーが提供する顔に幅広い現実世界のメイクを堅牢に転送できることを紹介します。
Stable-Makeupは、事前に訓練された拡散モデルに基づいており、メイクアップの詳細をエンコードするために、詳細提示（D-P）メイクアップエンコーダを使用します。
また、コンテンツと構造制御モジュールを使用して、ソース画像のコンテンツと構造情報を保存します。
U-Netに新しく追加されたメイクアップクロスアテンションレイヤーの助けを借りて、詳細なメイクをソース画像の対応する位置に正確に転送できます。
コンテンツ構造のデカップリングトレーニングの後、安定したメイクはコンテンツとソース画像の顔の構造を維持できます。
さらに、私たちの方法は強い堅牢性と一般化可能性を実証しており、クロスドメインメイクアップ転送、メイクアップされたテキストからイメージの生成などのさまざまなタスクに適用可能になりました。
広範な実験により、私たちのアプローチは、既存のメイクアップ転送方法の間で最先端（SOTA）の結果をもたらし、さまざまな関連分野で幅広い潜在的なアプリケーションで非常に有望な結果を示していることが実証されています。
リリースされたコード：https：//github.com/xiaojiu-z/stable-makeup

要約(オリジナル)

Current makeup transfer methods are limited to simple makeup styles, making them difficult to apply in real-world scenarios. In this paper, we introduce Stable-Makeup, a novel diffusion-based makeup transfer method capable of robustly transferring a wide range of real-world makeup, onto user-provided faces. Stable-Makeup is based on a pre-trained diffusion model and utilizes a Detail-Preserving (D-P) makeup encoder to encode makeup details. It also employs content and structural control modules to preserve the content and structural information of the source image. With the aid of our newly added makeup cross-attention layers in U-Net, we can accurately transfer the detailed makeup to the corresponding position in the source image. After content-structure decoupling training, Stable-Makeup can maintain content and the facial structure of the source image. Moreover, our method has demonstrated strong robustness and generalizability, making it applicable to varioustasks such as cross-domain makeup transfer, makeup-guided text-to-image generation and so on. Extensive experiments have demonstrated that our approach delivers state-of-the-art (SOTA) results among existing makeup transfer methods and exhibits a highly promising with broad potential applications in various related fields. Code released: https://github.com/Xiaojiu-z/Stable-Makeup

arxiv情報

提供元, 利用サービス

arxiv.jp, Google