Content-Style Decoupling for Unsupervised Makeup Transfer without Generating Pseudo Ground Truth

要約

モデルのトレーニングをガイドするための実際のターゲットが存在しないことは、メイクアップ転送タスクの主な問題の 1 つです。
既存の手法のほとんどは、擬似グラウンド トゥルース (PGT) を合成することでこの問題に取り組んでいます。
ただし、生成された PGT は最適化されていないことが多く、その不正確さは最終的にパフォーマンスの低下につながります。
この問題を軽減するために、この論文では、純粋に教師なしの方法で動作し、PGT 生成の悪影響を排除する新しいコンテンツ スタイル分離メイクアップ転送 (CSD-MT) 手法を提案します。
具体的には、周波数特性分析に基づいて、顔画像の低周波 (LF) 成分はメイク スタイル情報との関連性が高く、高周波 (HF) 成分はコンテンツの詳細との関連性が高いと仮定します。
この仮定により、CSD-MT は周波数分解を通じて各顔画像のコンテンツとメイクアップ スタイル情報を分離することができます。
その後、CSD-MTは、転送結果と入力画像の間で、これら2種類の情報の整合性をそれぞれ最大化することでメイクアップ転送を実現します。
転送パフォーマンスをさらに向上させるために、新しく設計された 2 つの損失関数も導入されています。
広範な定量的および定性的分析により、当社の CSD-MT メソッドの有効性が示されています。
私たちのコードは https://github.com/Snowfallingplum/CSD-MT で入手できます。

要約(オリジナル)

The absence of real targets to guide the model training is one of the main problems with the makeup transfer task. Most existing methods tackle this problem by synthesizing pseudo ground truths (PGTs). However, the generated PGTs are often sub-optimal and their imprecision will eventually lead to performance degradation. To alleviate this issue, in this paper, we propose a novel Content-Style Decoupled Makeup Transfer (CSD-MT) method, which works in a purely unsupervised manner and thus eliminates the negative effects of generating PGTs. Specifically, based on the frequency characteristics analysis, we assume that the low-frequency (LF) component of a face image is more associated with its makeup style information, while the high-frequency (HF) component is more related to its content details. This assumption allows CSD-MT to decouple the content and makeup style information in each face image through the frequency decomposition. After that, CSD-MT realizes makeup transfer by maximizing the consistency of these two types of information between the transferred result and input images, respectively. Two newly designed loss functions are also introduced to further improve the transfer performance. Extensive quantitative and qualitative analyses show the effectiveness of our CSD-MT method. Our code is available at https://github.com/Snowfallingplum/CSD-MT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google