Face Transformer: Towards High Fidelity and Accurate Face Swapping

要約

タイトル: 高精度かつ正確な顔交換を目指したフェイス・トランスフォーマー

要約:
– 顔交換は、ソースの顔のアイデンティティとターゲットの顔の属性を融合した交換された画像を生成することを目的としています。
– 既存の多くの手法は、3Dモデリングや生成的対抗ネットワーク（GAN）を使用して、この課題に対処していますが、3Dモデリングは限られた再構築精度に苦しんでおり、GANはソース顔の微妙ながら重要なアイデンティティ詳細（例：肌の色、顔の特徴）とターゲット顔の構造的属性（例：顔の形状、表情）を保持することに苦労しています。
– この論文では、顔交換タスクのためのトランスフォーマ・ネットワークであるフェイス・トランスフォーマーを提案します。この手法は、ソース顔とターゲット顔の高品質かつ意味を理解した対応関係を学習し、ソース顔のアイデンティティ特徴をターゲット顔の対応する領域にマッピングします。
– 高品質かつ意味を理解した対応関係により、対象の形状と表情を最小限変更することで、ソースのアイデンティティ情報をスムーズかつ正確に転送することができます。さらに、フェイス・トランスフォーマーには、豊富なファインフェイスの詳細を保存するためのマルチスケール変換メカニズムが組み込まれています。
– 広範な実験により、フェイス・トランスフォーマーが優れた顔の交換性能を定性的および定量的に実証しています。

要約(オリジナル)

Face swapping aims to generate swapped images that fuse the identity of source faces and the attributes of target faces. Most existing works address this challenging task through 3D modelling or generation using generative adversarial networks (GANs), but 3D modelling suffers from limited reconstruction accuracy and GANs often struggle in preserving subtle yet important identity details of source faces (e.g., skin colors, face features) and structural attributes of target faces (e.g., face shapes, facial expressions). This paper presents Face Transformer, a novel face swapping network that can accurately preserve source identities and target attributes simultaneously in the swapped face images. We introduce a transformer network for the face swapping task, which learns high-quality semantic-aware correspondence between source and target faces and maps identity features of source faces to the corresponding region in target faces. The high-quality semantic-aware correspondence enables smooth and accurate transfer of source identity information with minimal modification of target shapes and expressions. In addition, our Face Transformer incorporates a multi-scale transformation mechanism for preserving the rich fine facial details. Extensive experiments show that our Face Transformer achieves superior face swapping performance qualitatively and quantitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI