ExtSwap: Leveraging Extended Latent Mapper for Generating High Quality Face Swapping

要約

事前にトレーニングされた StyleGAN の徐々に成長する構造を使用した、新しい顔交換方法を紹介します。
以前の方法では、さまざまなエンコーダ デコーダ構造を使用し、統合ネットワークを埋め込んで高品質の結果を生成していましたが、その品質はもつれた表現によって低下しました。
ID と属性の特徴を個別に導出することで、セマンティクスのもつれを解きます。
連結された特徴を拡張潜在空間にマッピングする方法を学習することで、最先端の品質とその豊かな意味論的な拡張潜在空間を活用します。
広範な実験により、提案された方法がアイデンティティと属性の特徴のもつれをうまく解きほぐし、多くの最先端の顔交換方法を定性的および量的に優れていることが示唆されています。

要約(オリジナル)

We present a novel face swapping method using the progressively growing structure of a pre-trained StyleGAN. Previous methods use different encoder decoder structures, embedding integration networks to produce high-quality results, but their quality suffers from entangled representation. We disentangle semantics by deriving identity and attribute features separately. By learning to map the concatenated features into the extended latent space, we leverage the state-of-the-art quality and its rich semantic extended latent space. Extensive experiments suggest that the proposed method successfully disentangles identity and attribute features and outperforms many state-of-the-art face swapping methods, both qualitatively and quantitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google