ExFaceGAN: Exploring Identity Directions in GAN’s Learned Latent Space for Synthetic Identity Generation

要約

最近、深層生成モデルは、ランダムな合成アイデンティティのリアルな顔画像を生成するという素晴らしい結果を示しました。
特定の合成アイデンティティの複数のサンプルを生成するために、以前のいくつかの研究では、追加の監視または正則化を組み込むことで GAN の潜在空間を解きほぐし、特定の属性の操作を可能にすることが提案されています。
アイデンティティ、髪型、ポーズ、表情。
これらの作業のほとんどは、特別な損失関数の設計と専用のネットワーク アーキテクチャのトレーニングを必要とします。
他の人は、無条件の事前学習済み GAN 潜在空間内の特定の要素を解きほぐして出力を制御することを提案しましたが、これには属性分類器による監視も必要です。
さらに、これらの属性は GAN の潜在空間に絡み合っているため、ID 情報に影響を与えずに属性を操作することが困難になります。
私たちはこの研究で、最先端の事前学習済み GAN 潜在空間内のアイデンティティ情報を解きほぐし、任意の合成アイデンティティの複数のサンプルの生成を可能にするフレームワーク ExFaceGAN を提案します。
ExFaceGAN は識別情報のもつれを解くことを明示的に目的としているため、生成された画像のバリエーションは特定の属性に限定されませんが、他の視覚属性は学習された GAN 潜在空間からランダムに抽出されます。
ExFaceGAN の実際的な利点の一例として、ExFaceGAN によって生成されたデータを顔認識モデルのトレーニングに使用できることを経験的に証明しています。

要約(オリジナル)

Deep generative models have recently presented impressive results in generating realistic face images of random synthetic identities. To generate multiple samples of a certain synthetic identity, several previous works proposed to disentangle the latent space of GANs by incorporating additional supervision or regularization, enabling the manipulation of certain attributes, e.g. identity, hairstyle, pose, or expression. Most of these works require designing special loss functions and training dedicated network architectures. Others proposed to disentangle specific factors in unconditional pretrained GANs latent spaces to control their output, which also requires supervision by attribute classifiers. Moreover, these attributes are entangled in GAN’s latent space, making it difficult to manipulate them without affecting the identity information. We propose in this work a framework, ExFaceGAN, to disentangle identity information in state-of-the-art pretrained GANs latent spaces, enabling the generation of multiple samples of any synthetic identity. The variations in our generated images are not limited to specific attributes as ExFaceGAN explicitly aims at disentangling identity information, while other visual attributes are randomly drawn from a learned GAN latent space. As an example of the practical benefit of our ExFaceGAN, we empirically prove that data generated by ExFaceGAN can be successfully used to train face recognition models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google