LatentSwap: An Efficient Latent Code Mapping Framework for Face Swapping

要約

私たちは、特定のジェネレーターの顔交換潜在コードを生成する単純な顔交換フレームワークである LatentSwap を提案します。
ランダムにサンプリングされた潜在コードを利用する私たちのフレームワークは軽量で、事前トレーニングされたモデルを採用する以外にデータセットを必要とせず、トレーニング手順も高速かつ簡単です。
損失目標は 3 つの項のみで構成されており、ソース イメージとターゲット イメージ間の顔の交換結果を効果的に制御できます。
モデルに独立した事前トレーニング済み GAN 反転モデルをアタッチし、StyleGAN2 ジェネレーターを使用することにより、私たちのモデルは、他の競合する顔交換モデルに匹敵する写真のようにリアルな高解像度の画像を生成します。
私たちのフレームワークが StyleNeRF などの他のジェネレーターに適用可能であり、3D 対応の顔交換への道を開き、他のダウンストリーム StyleGAN2 ジェネレーター タスクとも互換性があることを示します。
ソース コードとモデルは \url{https://github.com/usingcolor/LatentSwap} にあります。

要約(オリジナル)

We propose LatentSwap, a simple face swapping framework generating a face swap latent code of a given generator. Utilizing randomly sampled latent codes, our framework is light and does not require datasets besides employing the pre-trained models, with the training procedure also being fast and straightforward. The loss objective consists of only three terms, and can effectively control the face swap results between source and target images. By attaching a pre-trained GAN inversion model independent to the model and using the StyleGAN2 generator, our model produces photorealistic and high-resolution images comparable to other competitive face swap models. We show that our framework is applicable to other generators such as StyleNeRF, paving a way to 3D-aware face swapping and is also compatible with other downstream StyleGAN2 generator tasks. The source code and models can be found at \url{https://github.com/usingcolor/LatentSwap}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google