WeditGAN: Few-shot Image Generation via Latent Space Relocation

要約

タイトル：WeditGAN：潜在空間の再配置による少数ショット画像生成

要約：

– 少数ショット画像生成では、わずか数枚の画像でGANモデルを直接訓練することは過学習のリスクがある。
– 一般的な解決策は、大規模なソースドメインで訓練されたしGANモデルを小規模なターゲットに転送することである。
– 本研究では、WeditGANを提案し、学習された一定のオフセット($\Delta w$)を使用したStyleGANsで、中間潜在コード$w$を編集し、ソース潜在空間の分布を単純に再配置して、ターゲット潜在空間を発見/ 構築することができる。
– 潜在空間間の確立された1：1マッピングは、モードの崩壊や過学習を自然に防止することができる。
– また、$\Delta w$の方向を正則化するまたはインテンシティを微調整するWeditGANの変種も提案する。
– 広く使用されているソース/ターゲットデータセットのコレクションの実験では、WeditGANの実力が示され、現実的で多様な画像を生成することができる。シンプルでありながら、少数ショットの画像生成の研究領域で非常に効果的である。

要約(オリジナル)

In few-shot image generation, directly training GAN models on just a handful of images faces the risk of overfitting. A popular solution is to transfer the models pretrained on large source domains to small target ones. In this work, we introduce WeditGAN, which realizes model transfer by editing the intermediate latent codes $w$ in StyleGANs with learned constant offsets ($\Delta w$), discovering and constructing target latent spaces via simply relocating the distribution of source latent spaces. The established one-to-one mapping between latent spaces can naturally prevents mode collapse and overfitting. Besides, we also propose variants of WeditGAN to further enhance the relocation process by regularizing the direction or finetuning the intensity of $\Delta w$. Experiments on a collection of widely used source/target datasets manifest the capability of WeditGAN in generating realistic and diverse images, which is simple yet highly effective in the research area of few-shot image generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI