Stable-Makeup: When Real-World Makeup Transfer Meets Diffusion Model

要約

現在のメイクアップ転写方法は単純なメイクアップ スタイルに限定されているため、現実世界のシナリオに適用するのは困難です。
この論文では、現実世界の広範囲のメイクアップをユーザーが提供した顔に確実に転写できる、新しい拡散ベースのメイクアップ転写方法である Stable-Makeup を紹介します。
Stable-Makeup は、事前トレーニングされた拡散モデルに基づいており、Detail-Preserving (D-P) メイクアップ エンコーダを利用してメイクアップの詳細をエンコードします。
また、コンテンツおよび構造制御モジュールを使用して、ソース画像のコンテンツおよび構造情報を保存します。
U-Net に新しく追加されたメイクアップ クロス アテンション レイヤーの助けを借りて、詳細なメイクアップをソース画像内の対応する位置に正確に転送できます。
コンテンツ構造分離トレーニング後、Stable-Makeup はソース画像のコンテンツと顔の構造を維持できます。
さらに、私たちの方法は強力な堅牢性と一般化性を実証しており、クロスドメインメイクアップ転送、メイクアップガイド付きのテキストから画像への生成などのさまざまなタスクに適用できます。
広範な実験により、私たちのアプローチが既存のメイクアップ転写法の中で最先端（SOTA）の結果をもたらし、さまざまな関連分野で広範な応用の可能性を持つ非常に有望であることが実証されました。

要約(オリジナル)

Current makeup transfer methods are limited to simple makeup styles, making them difficult to apply in real-world scenarios. In this paper, we introduce Stable-Makeup, a novel diffusion-based makeup transfer method capable of robustly transferring a wide range of real-world makeup, onto user-provided faces. Stable-Makeup is based on a pre-trained diffusion model and utilizes a Detail-Preserving (D-P) makeup encoder to encode makeup details. It also employs content and structural control modules to preserve the content and structural information of the source image. With the aid of our newly added makeup cross-attention layers in U-Net, we can accurately transfer the detailed makeup to the corresponding position in the source image. After content-structure decoupling training, Stable-Makeup can maintain content and the facial structure of the source image. Moreover, our method has demonstrated strong robustness and generalizability, making it applicable to varioustasks such as cross-domain makeup transfer, makeup-guided text-to-image generation and so on. Extensive experiments have demonstrated that our approach delivers state-of-the-art (SOTA) results among existing makeup transfer methods and exhibits a highly promising with broad potential applications in various related fields.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google