Face Swapping as A Simple Arithmetic Operation

要約

本手法は、学習済みStyleGANの中間潜在空間W+を「アイデンティティ」部分と「スタイル」部分に明示的に分離し、W+の潜在コードが対応する部分空間の「アイデンティティ」コードと「スタイル」コードの和となるようにするもので、「Arithmetic Face Swapping」（AFS）という新しい高忠実度フェイススワップ方法を提案する。我々の異分野融合により、顔交換（FS）はW+における単純な算術演算、すなわち、ソース「アイデンティティ」コードとターゲット「スタイル」コードの和と見なすことができる。このため、AFSは他のFS手法に比べ、より直感的でエレガントである。さらに、本手法は標準的な面交換を一般化し、他の興味深い操作、例えば、1つのソースのアイデンティティと複数のターゲットのスタイルを組み合わせること、またはその逆をサポートすることができます。我々は、潜在的なコードを「スタイル」コードにマッピングするニューラルネットワークを学習することで、ID-スタイル分離を実装する。また、このニューラルネットワークの学習条件として、一連の顔交換操作の後でも元の顔の同一性保持が理論的に保証されていることを示す。本手法は、最新のFS手法と比較して、高品質な顔の入れ替えが可能であることを、広範な実験により実証しています。本手法のソースコードは、https://github.com/truongvu2000nd/AFS で公開されています。

要約(オリジナル)

We propose a novel high-fidelity face swapping method called ‘Arithmetic Face Swapping’ (AFS) that explicitly disentangles the intermediate latent space W+ of a pretrained StyleGAN into the ‘identity’ and ‘style’ subspaces so that a latent code in W+ is the sum of an ‘identity’ code and a ‘style’ code in the corresponding subspaces. Via our disentanglement, face swapping (FS) can be regarded as a simple arithmetic operation in W+, i.e., the summation of a source ‘identity’ code and a target ‘style’ code. This makes AFS more intuitive and elegant than other FS methods. In addition, our method can generalize over the standard face swapping to support other interesting operations, e.g., combining the identity of one source with styles of multiple targets and vice versa. We implement our identity-style disentanglement by learning a neural network that maps a latent code to a ‘style’ code. We provide a condition for this network which theoretically guarantees identity preservation of the source face even after a sequence of face swapping operations. Extensive experiments demonstrate the advantage of our method over state-of-the-art FS methods in producing high-quality swapped faces. Our source code was made public at https://github.com/truongvu2000nd/AFS

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL