High-Fidelity Face Swapping with Style Blending

要約

顔の交換は、深層学習手法によって促進される大量の人間の顔の合成によって、大きな注目を集めています。
ただし、敵対的生成ネットワーク (GAN) をバックボーンとして使用したこれまでの顔交換手法は、ブレンドの不一致、歪み、アーティファクト、トレーニングの安定性の問題などの課題に直面していました。
これらの制限に対処するために、私たちは高忠実度の顔交換のための革新的なエンドツーエンドのフレームワークを提案します。
まず、StyleGAN ベースの顔属性エンコーダを導入します。これは、顔から重要な特徴を抽出し、それらを潜在的なスタイル コードに変換し、顔の交換を成功させるために不可欠な顔属性をカプセル化します。
2 番目に、Face ID をソースからターゲットに効果的に転送するために、アテンションベースのスタイル ブレンディング モジュールを導入します。
正確かつ高品質な転送を保証するために、対照的な顔 ID 学習、顔のランドマークの位置合わせ、デュアル スワップの一貫性などの一連の制約措置が実装されています。
最後に、ブレンドされたスタイル コードは、トレーニングの安定性と生成能力が高いスタイル デコーダを介して画像空間に戻されます。
CelebA-HQ データセットに関する広範な実験により、他の最先端の方法と比較した場合の顔交換方法論から生成された画像の優れた視覚品質と、提案された各モジュールの有効性が強調されています。
ソースコードと重みは公開されます。

要約(オリジナル)

Face swapping has gained significant traction, driven by the plethora of human face synthesis facilitated by deep learning methods. However, previous face swapping methods that used generative adversarial networks (GANs) as backbones have faced challenges such as inconsistency in blending, distortions, artifacts, and issues with training stability. To address these limitations, we propose an innovative end-to-end framework for high-fidelity face swapping. First, we introduce a StyleGAN-based facial attributes encoder that extracts essential features from faces and inverts them into a latent style code, encapsulating indispensable facial attributes for successful face swapping. Second, we introduce an attention-based style blending module to effectively transfer Face IDs from source to target. To ensure accurate and quality transferring, a series of constraint measures including contrastive face ID learning, facial landmark alignment, and dual swap consistency is implemented. Finally, the blended style code is translated back to the image space via the style decoder, which is of high training stability and generative capability. Extensive experiments on the CelebA-HQ dataset highlight the superior visual quality of generated images from our face-swapping methodology when compared to other state-of-the-art methods, and the effectiveness of each proposed module. Source code and weights will be publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google