LatentSwap: An Efficient Latent Code Mapping Framework for Face Swapping

要約

本論文では、与えられたジェネレータの潜在コードを生成するシンプルな顔交換フレームワークであるLatentSwapを提案する。ランダムにサンプリングされた潜在コードを利用することで、本フレームワークは軽量であり、事前に学習されたモデルを利用する以外にデータセットを必要とせず、学習手順も高速で簡単である。損失目的は3つの項のみからなり、ソース画像とターゲット画像間の顔の入れ替え結果を効果的に制御することができる。事前に訓練されたGAN逆変換モデルをモデルに独立に付加し、StyleGAN2ジェネレータを用いることで、我々のモデルは、他の競合する顔交換モデルに匹敵する、写実的で高解像度の画像を生成する。我々のフレームワークはStyleNeRFのような他のジェネレーターにも適用可能であり、3Dを意識した顔スワップへの道を開き、また他の下流のStyleGAN2ジェネレータータスクとも互換性があることを示します。ソースコードとモデルは♪♪にあります。

要約(オリジナル)

We propose LatentSwap, a simple face swapping framework generating a face swap latent code of a given generator. Utilizing randomly sampled latent codes, our framework is light and does not require datasets besides employing the pre-trained models, with the training procedure also being fast and straightforward. The loss objective consists of only three terms, and can effectively control the face swap results between source and target images. By attaching a pre-trained GAN inversion model independent to the model and using the StyleGAN2 generator, our model produces photorealistic and high-resolution images comparable to other competitive face swap models. We show that our framework is applicable to other generators such as StyleNeRF, paving a way to 3D-aware face swapping and is also compatible with other downstream StyleGAN2 generator tasks. The source code and models can be found at \url{https://github.com/usingcolor/LatentSwap}.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL