BlendFace: Re-designing Identity Encoders for Face-Swapping

要約

コンピュータ ビジョンにおける敵対的生成ネットワークと顔認識モデルの大きな進歩により、単一ソースからの画像上のアイデンティティを交換できるようになりました。
多くの研究がほぼ満足のいく解決策を提案しているようですが、ArcFace などの広く使用されているアイデンティティ エンコーダには、顔認識タスクの事前トレーニングにより重大な属性のバイアスがあるため、以前の方法では依然として、望ましくない属性の交換を引き起こすアイデンティティ属性のもつれに悩まされていることがわかります。
この問題に対処するために、私たちは顔交換用の新しい ID エンコーダである BlendFace を設計しました。
BlendFace の背後にある重要なアイデアは、属性が別の画像の属性に置き換えられたブレンド画像で顔認識モデルをトレーニングし、毛髪などの個人間のバイアスを軽減することです。
BlendFace は、もつれを解いたアイデンティティ特徴をジェネレーターにフィードし、アイデンティティ損失関数としてジェネレーターを適切にガイドします。
広範な実験により、BlendFace が顔交換モデルにおけるアイデンティティ属性のもつれの解消を改善し、以前の方法と同等の定量的パフォーマンスを維持することが実証されました。

要約(オリジナル)

The great advancements of generative adversarial networks and face recognition models in computer vision have made it possible to swap identities on images from single sources. Although a lot of studies seems to have proposed almost satisfactory solutions, we notice previous methods still suffer from an identity-attribute entanglement that causes undesired attributes swapping because widely used identity encoders, eg, ArcFace, have some crucial attribute biases owing to their pretraining on face recognition tasks. To address this issue, we design BlendFace, a novel identity encoder for face-swapping. The key idea behind BlendFace is training face recognition models on blended images whose attributes are replaced with those of another mitigates inter-personal biases such as hairsyles. BlendFace feeds disentangled identity features into generators and guides generators properly as an identity loss function. Extensive experiments demonstrate that BlendFace improves the identity-attribute disentanglement in face-swapping models, maintaining a comparable quantitative performance to previous methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google