BeautyREC: Robust, Efficient, and Content-preserving Makeup Transfer

要約

この作業では、堅牢で効率的なコンポーネント固有のメイクアップ転送方法 (BeautyREC と略します) を提案します。
グローバルな注意を活用したり、単純に機能を連結したり、潜在空間で機能を暗黙的に操作したりする従来の方法からの独自の出発点として、参照画像のメイクアップ スタイルを対応するコンポーネント (肌、唇など) に直接転送するためのコンポーネント固有の対応を提案します。
、目)、ソース イメージの精巧で正確なローカル メイクアップ トランスファーを作成します。
補助として、Transformer の長期的な視覚的依存関係が導入され、効果的なグローバル メイクアップ転送が行われます。
複雑で不安定な一般的に使用されるサイクル構造の代わりに、コンテンツの一貫性の損失をコンテンツ エンコーダーと組み合わせて使用​​し、効率的な単一パスのメイクアップ転送を実装します。
この研究の重要な洞察は、ローカル メイクアップ トランスファーのコンポーネント固有の対応をモデリングすること、グローバル メイクアップ トランスファーの長期的な依存関係をキャプチャすること、および単一パス構造を介して効率的なメイクアップ トランスファーを可能にすることです。
また、既存のデータセットを補完するメイクアップ転送データセットである BeautyFace も提供しています。
このデータセットには 3,000 の顔が含まれており、より多様なメイク スタイル、顔のポーズ、および人種をカバーしています。
各顔には注釈付きの解析マップがあります。
広範な実験により、最先端の方法に対する私たちの方法の有効性が実証されています。
その上、私たちの方法はわずか 1M のパラメーターで魅力的であり、最先端の方法 (BeautyGAN: 8.43M、PSGAN: 12.62M、SCGAN: 15.30M、CPM: 9.24M、SSAT: 10.48M) を上回っています。
.

要約(オリジナル)

In this work, we propose a Robust, Efficient, and Component-specific makeup transfer method (abbreviated as BeautyREC). A unique departure from prior methods that leverage global attention, simply concatenate features, or implicitly manipulate features in latent space, we propose a component-specific correspondence to directly transfer the makeup style of a reference image to the corresponding components (e.g., skin, lips, eyes) of a source image, making elaborate and accurate local makeup transfer. As an auxiliary, the long-range visual dependencies of Transformer are introduced for effective global makeup transfer. Instead of the commonly used cycle structure that is complex and unstable, we employ a content consistency loss coupled with a content encoder to implement efficient single-path makeup transfer. The key insights of this study are modeling component-specific correspondence for local makeup transfer, capturing long-range dependencies for global makeup transfer, and enabling efficient makeup transfer via a single-path structure. We also contribute BeautyFace, a makeup transfer dataset to supplement existing datasets. This dataset contains 3,000 faces, covering more diverse makeup styles, face poses, and races. Each face has annotated parsing map. Extensive experiments demonstrate the effectiveness of our method against state-of-the-art methods. Besides, our method is appealing as it is with only 1M parameters, outperforming the state-of-the-art methods (BeautyGAN: 8.43M, PSGAN: 12.62M, SCGAN: 15.30M, CPM: 9.24M, SSAT: 10.48M).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google