Fine-Grained Face Swapping via Regional GAN Inversion

要約

必要な微妙なジオメトリとテクスチャの詳細を忠実に保持する、忠実度の高い顔の交換のための新しいパラダイムを提示します。
細粒度の顔編集 \textit{i.e., “editing for swapping” (E4S)} の観点から顔のスワッピングを再考し、顔のコンポーネントの形状とテクスチャの明示的なもつれの解消に基づくフレームワークを提案します。
.
E4S の原則に従って、私たちのフレームワークは、顔の特徴のグローバルとローカルの両方のスワッピングを可能にし、ユーザーが指定した部分的なスワッピングの量を制御します。
さらに、E4S パラダイムは、本質的に顔のマスクによって顔の閉塞を処理することができます。
私たちのシステムの中核には、形状とテクスチャの明示的なもつれを解くことを可能にする新しいリージョナル GAN インバージョン (RGI) メソッドがあります。
また、StyleGAN の潜在空間で顔の交換を実行することもできます。
具体的には、各顔コンポーネントのテクスチャを地域のスタイル コードに投影するマルチスケール マスク ガイド付きエンコーダを設計します。
また、スタイル コードを使用してフィーチャ マップを操作するためのマスク ガイド付きインジェクション モジュールも設計します。
もつれの解消に基づいて、顔のスワッピングは、スタイルとマスクのスワッピングの単純化された問題として再定式化されます。
広範な実験と現在の最先端の方法との比較により、テクスチャと形状の詳細を維持し、1024$\times$1024 の高解像度画像を処理するという当社のアプローチの優位性が実証されています。

要約(オリジナル)

We present a novel paradigm for high-fidelity face swapping that faithfully preserves the desired subtle geometry and texture details. We rethink face swapping from the perspective of fine-grained face editing, \textit{i.e., “editing for swapping” (E4S)}, and propose a framework that is based on the explicit disentanglement of the shape and texture of facial components. Following the E4S principle, our framework enables both global and local swapping of facial features, as well as controlling the amount of partial swapping specified by the user. Furthermore, the E4S paradigm is inherently capable of handling facial occlusions by means of facial masks. At the core of our system lies a novel Regional GAN Inversion (RGI) method, which allows the explicit disentanglement of shape and texture. It also allows face swapping to be performed in the latent space of StyleGAN. Specifically, we design a multi-scale mask-guided encoder to project the texture of each facial component into regional style codes. We also design a mask-guided injection module to manipulate the feature maps with the style codes. Based on the disentanglement, face swapping is reformulated as a simplified problem of style and mask swapping. Extensive experiments and comparisons with current state-of-the-art methods demonstrate the superiority of our approach in preserving texture and shape details, as well as working with high resolution images at 1024$\times$1024.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google