FaceDancer: Pose- and Occlusion-Aware High Fidelity Face Swapping

要約

この作業では、FaceDancer という名前の、被験者にとらわれない顔の交換と ID 転送のための新しい単一段階の方法を紹介します。
2 つの主要な貢献があります。Adaptive Feature Fusion Attention (AFFA) と Interpreted Feature Similarity Regularization (IFSR) です。
AFFA モジュールはデコーダーに組み込まれており、追加の顔セグメンテーション プロセスを必要とせずに、属性の特徴と ID 情報に基づいて調整された特徴を融合することを適応的に学習します。
IFSR では、ID エンコーダーの中間機能を活用して、頭のポーズ、顔の表情、照明、ターゲットの顔のオクルージョンなどの重要な属性を保持しながら、ソースの顔の ID を忠実に転送します。
さまざまなデータセットで広範な定量的および定性的な実験を行い、提案された FaceDancer がアイデンティティ転送に関して他の最先端のネットワークよりも優れていることを示しますが、以前のほとんどの方法よりもポーズの保存が大幅に優れています。

要約(オリジナル)

In this work, we present a new single-stage method for subject agnostic face swapping and identity transfer, named FaceDancer. We have two major contributions: Adaptive Feature Fusion Attention (AFFA) and Interpreted Feature Similarity Regularization (IFSR). The AFFA module is embedded in the decoder and adaptively learns to fuse attribute features and features conditioned on identity information without requiring any additional facial segmentation process. In IFSR, we leverage the intermediate features in an identity encoder to preserve important attributes such as head pose, facial expression, lighting, and occlusion in the target face, while still transferring the identity of the source face with high fidelity. We conduct extensive quantitative and qualitative experiments on various datasets and show that the proposed FaceDancer outperforms other state-of-the-art networks in terms of identityn transfer, while having significantly better pose preservation than most of the previous methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google