Transforming the Latent Space of StyleGAN for Real Face Editing

要約

StyleGANを使用したセマンティック操作の最近の進歩にもかかわらず、実際の顔のセマンティック編集は依然として困難です。
$W$スペースと$W$ +スペースの間のギャップは、再構築の品質と編集の品質の間の望ましくないトレードオフを要求します。
この問題を解決するために、StyleGANのマッピングネットワーク内の完全に接続されたレイヤーを注意ベースのトランスフォーマーに置き換えることにより、潜在的なスペースを拡張することを提案します。
このシンプルで効果的な手法は、前述の2つのスペースを統合し、それらを$ W$++と呼ばれる1つの新しい潜在スペースに変換します。
変更されたStyleGANは、元のStyleGANの最先端の世代品質を維持し、多様性を適度に向上させます。
しかし、さらに重要なことに、提案された$ W $ ++スペースは、再構築品質と編集品質の両方で優れたパフォーマンスを実現します。
これらの重要な利点にもかかわらず、$ W $ ++スペースは、$ W / W $ +スペースとの構造的類似性のおかげで、ごくわずかな変更で既存の反転アルゴリズムと編集方法をサポートします。
FFHQデータセットでの広範な実験により、実際の顔の編集には、提案された$ W$++スペースが以前の$W/ W$+スペースよりも明らかに好ましいことが証明されています。
このコードは、https：//github.com/AnonSubm2021/TransStyleGANで調査目的で公開されています。

要約(オリジナル)

Despite recent advances in semantic manipulation using StyleGAN, semantic editing of real faces remains challenging. The gap between the $W$ space and the $W$+ space demands an undesirable trade-off between reconstruction quality and editing quality. To solve this problem, we propose to expand the latent space by replacing fully-connected layers in the StyleGAN’s mapping network with attention-based transformers. This simple and effective technique integrates the aforementioned two spaces and transforms them into one new latent space called $W$++. Our modified StyleGAN maintains the state-of-the-art generation quality of the original StyleGAN with moderately better diversity. But more importantly, the proposed $W$++ space achieves superior performance in both reconstruction quality and editing quality. Despite these significant advantages, our $W$++ space supports existing inversion algorithms and editing methods with only negligible modifications thanks to its structural similarity with the $W/W$+ space. Extensive experiments on the FFHQ dataset prove that our proposed $W$++ space is evidently more preferable than the previous $W/W$+ space for real face editing. The code is publicly available for research purposes at https://github.com/AnonSubm2021/TransStyleGAN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google