Face Identity-Aware Disentanglement in StyleGAN

要約

条件付き GAN は、表情、髪型、ポーズ、年齢などの顔画像の属性を操作するためによく使用されます。
最先端のモデルは要求された属性を変更することに成功しましたが、同時に人物の身元など、画像の他の重要な特性も変更してしまいます。
このペーパーでは、人のアイデンティティから顔の属性を明示的に分離する、StyleGAN のプラグインである PluGeN4Faces を導入することで、この問題を解決することに焦点を当てます。
私たちの重要なアイデアは、特定の人物がさまざまなポーズやさまざまな属性で表示される、映画のフレームから取得した画像に対してトレーニングを実行することです。
一種のコントラスト損失を適用することで、モデルが潜在空間の類似した領域にある同じ人物の画像をグループ化するように促します。
私たちの実験は、PluGeN4Faces によって実行される顔属性の変更が、既存の最先端モデルよりも画像の残りの特徴に対する侵襲性が大幅に低いことを示しています。

要約(オリジナル)

Conditional GANs are frequently used for manipulating the attributes of face images, such as expression, hairstyle, pose, or age. Even though the state-of-the-art models successfully modify the requested attributes, they simultaneously modify other important characteristics of the image, such as a person’s identity. In this paper, we focus on solving this problem by introducing PluGeN4Faces, a plugin to StyleGAN, which explicitly disentangles face attributes from a person’s identity. Our key idea is to perform training on images retrieved from movie frames, where a given person appears in various poses and with different attributes. By applying a type of contrastive loss, we encourage the model to group images of the same person in similar regions of latent space. Our experiments demonstrate that the modifications of face attributes performed by PluGeN4Faces are significantly less invasive on the remaining characteristics of the image than in the existing state-of-the-art models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google