WeditGAN: Few-shot Image Generation via Latent Space Relocation

要約

少数ショットの画像生成では、ほんの少数の画像で GAN モデルを直接トレーニングすると、過剰学習のリスクに直面します。
一般的なソリューションは、大規模なソース ドメインで事前トレーニングされたモデルを小規模なターゲット ドメインに転送することです。
この研究では、学習された定数オフセット ($\Delta w$) を使用して StyleGAN の中間潜在コード $w$ を編集し、ソース潜在空間の分布を単純に再配置することでターゲット潜在空間を発見および構築することでモデル転送を実現する WeditGAN を紹介します。
。
潜在空間間の確立された 1 対 1 マッピングにより、モードの崩壊や過剰適合を自然に防ぐことができます。
さらに、$\Delta w$ の方向を正規化したり強度を微調整したりすることで、再配置プロセスをさらに強化する WeditGAN のバリアントも提案します。
広く使用されているソース/ターゲット データセットのコレクションに関する実験では、現実的で多様な画像を生成する WeditGAN の機能が実証されています。これは、少数ショット画像生成の研究分野においてシンプルでありながら非常に効果的です。

要約(オリジナル)

In few-shot image generation, directly training GAN models on just a handful of images faces the risk of overfitting. A popular solution is to transfer the models pretrained on large source domains to small target ones. In this work, we introduce WeditGAN, which realizes model transfer by editing the intermediate latent codes $w$ in StyleGANs with learned constant offsets ($\Delta w$), discovering and constructing target latent spaces via simply relocating the distribution of source latent spaces. The established one-to-one mapping between latent spaces can naturally prevents mode collapse and overfitting. Besides, we also propose variants of WeditGAN to further enhance the relocation process by regularizing the direction or finetuning the intensity of $\Delta w$. Experiments on a collection of widely used source/target datasets manifest the capability of WeditGAN in generating realistic and diverse images, which is simple yet highly effective in the research area of few-shot image generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google