E4S: Fine-grained Face Swapping via Editing With Regional GAN Inversion

要約

この論文では、「スワッピングのための編集」(E4S) と呼ばれる、きめ細かい顔の編集の観点から、顔のスワッピングに対する新しいアプローチを提案します。
従来の顔交換方法は、グローバルな特徴抽出に依存しており、多くの場合、ソースのアイデンティティを保持できません。
対照的に、私たちのフレームワークは、形状とテクスチャの明示的な解きほぐしを可能にする Regional GAN Inversion (RGI) 手法を提案しています。
具体的には、当社の E4S は、事前トレーニング済み StyleGAN の潜在空間で顔の交換を実行します。そこでは、マルチスケールのマスクガイド付きエンコーダーが適用されて、各顔コンポーネントのテクスチャを地域スタイル コードに投影し、マスクガイド付きインジェクション モジュールが特徴マップを操作します。
スタイルコード付き。
この解きほぐしに基づいて、顔の交換はスタイルとマスクの交換として単純化できます。
さらに、ターゲット画像内のソース面を再構成すると照明の不調和が生じる可能性があるため、交換された顔がターゲット面の照明条件を維持するように再着色ネットワークをトレーニングすることを提案します。
さらに、マスク交換時の潜在的な不一致領域に対処するために、後処理として顔修復ネットワークを設計しました。
最先端の方法との広範な比較により、当社の E4S はテクスチャ、形状、照明の保持において既存の方法よりも優れていることが実証されています。
私たちの実装は https://github.com/e4s2023/E4S2023 で入手できます。

要約(オリジナル)

This paper proposes a novel approach to face swapping from the perspective of fine-grained facial editing, dubbed ‘editing for swapping’ (E4S). The traditional face swapping methods rely on global feature extraction and often fail to preserve the source identity. In contrast, our framework proposes a Regional GAN Inversion (RGI) method, which allows the explicit disentanglement of shape and texture. Specifically, our E4S performs face swapping in the latent space of a pretrained StyleGAN, where a multi-scale mask-guided encoder is applied to project the texture of each facial component into regional style codes and a mask-guided injection module then manipulates feature maps with the style codes. Based on this disentanglement, face swapping can be simplified as style and mask swapping. Besides, since reconstructing the source face in the target image may lead to disharmony lighting, we propose to train a re-coloring network to make the swapped face maintain the lighting condition on the target face. Further, to deal with the potential mismatch area during mask exchange, we designed a face inpainting network as post-processing. The extensive comparisons with state-of-the-art methods demonstrate that our E4S outperforms existing methods in preserving texture, shape, and lighting. Our implementation is available at https://github.com/e4s2023/E4S2023.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google