Face Cartoonisation For Various Poses Using StyleGAN

要約

このペーパーでは、元のアイデンティティを維持し、さまざまなポーズに対応しながら、顔の漫画化を実現する革新的なアプローチを紹介します。
データセット要件とポーズ トレーニングに関連する課題をもたらした条件付き GAN に依存したこの分野の以前の方法とは異なり、私たちのアプローチは StyleGAN の表現力豊かな潜在空間を活用しています。
これは、画像からポーズとアイデンティティ情報の両方をキャプチャし、StyleGAN 潜在空間内に対応する埋め込みを生成するエンコーダーを導入することで実現します。
その後、この埋め込みを事前トレーニングされたジェネレーターに渡すことで、目的の漫画化された出力が得られます。
StyleGAN に基づく他の多くのアプローチでは、専用の微調整された StyleGAN モデルが必要ですが、私たちの方法は、リアルな顔画像を生成するように設計された、すでにトレーニングされた StyleGAN を利用することで際立っています。
私たちは、目的が漫画化である場合に、エンコーダが StyleGAN 出力をどのように適応させてアイデンティティをより良く保持するかを広範な実験によって示します。

要約(オリジナル)

This paper presents an innovative approach to achieve face cartoonisation while preserving the original identity and accommodating various poses. Unlike previous methods in this field that relied on conditional-GANs, which posed challenges related to dataset requirements and pose training, our approach leverages the expressive latent space of StyleGAN. We achieve this by introducing an encoder that captures both pose and identity information from images and generates a corresponding embedding within the StyleGAN latent space. By subsequently passing this embedding through a pre-trained generator, we obtain the desired cartoonised output. While many other approaches based on StyleGAN necessitate a dedicated and fine-tuned StyleGAN model, our method stands out by utilizing an already-trained StyleGAN designed to produce realistic facial images. We show by extensive experimentation how our encoder adapts the StyleGAN output to better preserve identity when the objective is cartoonisation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google