FlowFace++: Explicit Semantic Flow-supervised End-to-End Face Swapping

要約

この研究では、形状を認識した顔交換を容易にするために、明示的なセマンティック フロー監視とエンドツーエンド アーキテクチャを利用した、新しい顔交換フレームワーク FlowFace++ を提案します。
具体的には、私たちの研究では、顔交換ネットワークを監視する顔の形状弁別器を事前にトレーニングします。
ディスクリミネーターは形状を認識しており、セマンティック フローに基づく操作に依存して、ターゲットとソースの顔の間の形状の不一致を明示的に計算します。これにより、顔交換ネットワークが最適化され、非常に現実的な結果が生成されます。
顔交換ネットワークは、事前トレーニングされた顔マスク オートエンコーダ (MAE)、クロスアテンション フュージョン モジュール、および畳み込みデコーダのスタックです。
MAE は、ターゲット顔とソース顔に対して統一された、きめの細かい顔画像表現空間を提供するため、最終的に現実的な結果を容易に得ることができます。
クロスアテンション フュージョン モジュールは、ターゲット画像の他の属性 (表情、頭の姿勢、髪、背景、照明など) を維持しながら、きめの細かい潜在空間でソースからターゲットへの顔の交換を実行します。
最後に、畳み込みデコーダは、クロスアテンション融合モジュールからのフェイススワッピング潜在埋め込みに従って、スワッピング結果をさらに合成します。
自然界の顔に関する広範な定量的および定性的な実験により、特にソース面が不均一な照明や角度オフセットによって遮られている場合に、当社の FlowFace++ が最先端のものよりも大幅に優れていることが実証されました。

要約(オリジナル)

This work proposes a novel face-swapping framework FlowFace++, utilizing explicit semantic flow supervision and end-to-end architecture to facilitate shape-aware face-swapping. Specifically, our work pretrains a facial shape discriminator to supervise the face swapping network. The discriminator is shape-aware and relies on a semantic flow-guided operation to explicitly calculate the shape discrepancies between the target and source faces, thus optimizing the face swapping network to generate highly realistic results. The face swapping network is a stack of a pre-trained face-masked autoencoder (MAE), a cross-attention fusion module, and a convolutional decoder. The MAE provides a fine-grained facial image representation space, which is unified for the target and source faces and thus facilitates final realistic results. The cross-attention fusion module carries out the source-to-target face swapping in a fine-grained latent space while preserving other attributes of the target image (e.g. expression, head pose, hair, background, illumination, etc). Lastly, the convolutional decoder further synthesizes the swapping results according to the face-swapping latent embedding from the cross-attention fusion module. Extensive quantitative and qualitative experiments on in-the-wild faces demonstrate that our FlowFace++ outperforms the state-of-the-art significantly, particularly while the source face is obstructed by uneven lighting or angle offset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google