StyleDomain: Efficient and Lightweight Parameterizations of StyleGAN for One-shot and Few-shot Domain Adaptation

要約

タイトル：StyleDomain：One-shotおよびFew-shotドメイン適応のためのStyleGANの効率的かつ軽量なパラメータ化

要約：

– GANのドメイン適応は、大規模データセットで事前にトレーニングされた最新のGANモデル（例：StyleGAN）を、わずかなサンプルを持つ特定のドメインに微調整する問題である。
– この問題に取り組む多くの方法があるが、未解決の重要な問題がまだあります。
– 本論文では、StyleGANモデルに注目し、GANのドメイン適応問題について、体系的で詳細な分析を提供する。
– StyleGANの最も重要な部分に詳細な探索を行い、ソースとターゲットドメインの類似度に応じてジェネレータを新しいドメインに適応させるための重要な部分を特定する。
– この詳細な研究の結果、ドメイン適応のためのStyleGANの効率的かつ軽量なパラメータ化を提案する。
– 特に、類似するドメインに適応するのに十分なStyleGANのStyleSpace（StyleDomain方向）が存在することを示し、それらをさらに削減できることを示す。異なるドメインに対しては、Affine$+$およびAffineLight$+$パラメータ化を提案し、低データ領域のFew-shot適応で既存のベースラインを上回る結果を示す。
– 最後に、StyleDomain方向を調べ、その驚くべき性質を発見し、ドメインの混合やクロスドメイン画像モーフィングに応用する。

要約(オリジナル)

Domain adaptation of GANs is a problem of fine-tuning the state-of-the-art GAN models (e.g. StyleGAN) pretrained on a large dataset to a specific domain with few samples (e.g. painting faces, sketches, etc.). While there are a great number of methods that tackle this problem in different ways, there are still many important questions that remain unanswered. In this paper, we provide a systematic and in-depth analysis of the domain adaptation problem of GANs, focusing on the StyleGAN model. First, we perform a detailed exploration of the most important parts of StyleGAN that are responsible for adapting the generator to a new domain depending on the similarity between the source and target domains. As a result of this in-depth study, we propose new efficient and lightweight parameterizations of StyleGAN for domain adaptation. Particularly, we show there exist directions in StyleSpace (StyleDomain directions) that are sufficient for adapting to similar domains and they can be reduced further. For dissimilar domains, we propose Affine$+$ and AffineLight$+$ parameterizations that allows us to outperform existing baselines in few-shot adaptation with low data regime. Finally, we examine StyleDomain directions and discover their many surprising properties that we apply for domain mixing and cross-domain image morphing.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI