StyleDomain: Analysis of StyleSpace for Domain Adaptation of StyleGAN

要約

GAN のドメイン適応は、大規模なデータセットで事前トレーニングされた最先端の GAN モデル (StyleGAN など) を、少数のサンプル (顔のペイント、スケッチなど) を使用して特定のドメインに微調整する問題です。
さまざまな方法でこの問題に取り組む方法は数多くありますが、まだ答えられていない重要な問題が数多くあります。
この論文では、StyleGANモデルに焦点を当てて、GANのドメイン適応問題の体系的かつ詳細な分析を提供します。
まず、ソース ドメインとターゲット ドメインの類似性に応じて、ジェネレーターを新しいドメインに適応させる StyleGAN の最も重要な部分の詳細な調査を行います。
特に、StyleGANのアフィンレイヤーは、同様のドメインへの微調整に十分であることを示しています。
次に、これらの調査結果に触発されて、StyleSpace を調査し、それをドメイン適応に利用します。
StyleGANを新しいドメインに適応できるStyleSpaceの方向性が存在することを示します。
さらに、これらの方向を調べて、多くの驚くべき特性を発見します。
最後に、分析と調査結果を活用して、画像から画像への変換やクロスドメインモーフィングなどの標準的なタスクで実用的な改善とアプリケーションを提供します。

要約(オリジナル)

Domain adaptation of GANs is a problem of fine-tuning the state-of-the-art GAN models (e.g. StyleGAN) pretrained on a large dataset to a specific domain with few samples (e.g. painting faces, sketches, etc.). While there are a great number of methods that tackle this problem in different ways there are still many important questions that remain unanswered. In this paper, we provide a systematic and in-depth analysis of the domain adaptation problem of GANs, focusing on the StyleGAN model. First, we perform a detailed exploration of the most important parts of StyleGAN that are responsible for adapting the generator to a new domain depending on the similarity between the source and target domains. In particular, we show that affine layers of StyleGAN can be sufficient for fine-tuning to similar domains. Second, inspired by these findings, we investigate StyleSpace to utilize it for domain adaptation. We show that there exist directions in the StyleSpace that can adapt StyleGAN to new domains. Further, we examine these directions and discover their many surprising properties. Finally, we leverage our analysis and findings to deliver practical improvements and applications in such standard tasks as image-to-image translation and cross-domain morphing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google