SARA: Controllable Makeup Transfer with Spatial Alignment and Region-Adaptive Normalization

要約

メイクアップ転送は、ソース画像のアイデンティティを維持しながら、メイクアップ スタイルを参照画像からソース画像に転送するプロセスです。
この技術は非常に望ましいものであり、多くの用途があります。
しかし、既存の方法にはメイクアップ スタイルの詳細な制御が欠けており、大きな空間的ずれに対処する際に高品質の結果を達成することが困難になります。
この問題に対処するために、この論文では新しい空間アライメントおよび領域適応正規化法 (SARA) を提案します。
私たちの方法は、大きな空間的ずれを処理し、パーツ固有のシェード制御可能なメイクアップ転写を実現できる詳細なメイクアップ転写結果を生成します。
具体的には、SARA は 3 つのモジュールで構成されます。第 1 に、メイクアップの空間コンテキストを保存し、形状に依存しないスタイル コードをガイドするためのターゲット セマンティック マップを提供する空間アライメント モジュールです。
2 つ目は、領域ごとのエンコードと正規化を使用して形状とメイクアップ スタイルを分離する領域適応型正規化モジュールです。これにより、空間的な位置ずれの排除が容易になります。
最後に、メイクアップ フュージョン モジュールは、学習したスケールとバイアス パラメーターを注入することで、アイデンティティの特徴とメイクアップ スタイルをブレンドします。
実験結果は、私たちの SARA メソッドが既存のメソッドを上回り、2 つの公開データセットで最先端のパフォーマンスを達成することを示しています。

要約(オリジナル)

Makeup transfer is a process of transferring the makeup style from a reference image to the source images, while preserving the source images’ identities. This technique is highly desirable and finds many applications. However, existing methods lack fine-level control of the makeup style, making it challenging to achieve high-quality results when dealing with large spatial misalignments. To address this problem, we propose a novel Spatial Alignment and Region-Adaptive normalization method (SARA) in this paper. Our method generates detailed makeup transfer results that can handle large spatial misalignments and achieve part-specific and shade-controllable makeup transfer. Specifically, SARA comprises three modules: Firstly, a spatial alignment module that preserves the spatial context of makeup and provides a target semantic map for guiding the shape-independent style codes. Secondly, a region-adaptive normalization module that decouples shape and makeup style using per-region encoding and normalization, which facilitates the elimination of spatial misalignments. Lastly, a makeup fusion module blends identity features and makeup style by injecting learned scale and bias parameters. Experimental results show that our SARA method outperforms existing methods and achieves state-of-the-art performance on two public datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google