Few-shot Image Generation with Mixup-based Distance Learning

要約

GANなどの生成モデルを使用して多様でリアルな画像を生成するには、通常、大量の画像を使用した大規模なトレーニングが必要です。
限られたデータでトレーニングされたGANは、いくつかのトレーニングサンプルを簡単に記憶し、潜在空間での補間によって出力空間で不連続な遷移が発生する「階段状」の潜在空間などの望ましくないプロパティを表示できます。
この作業では、事前トレーニングのない数ショットの画像合成という難しいタスクを検討し、過剰適合とモードの崩壊を最小限に抑えて既存の生成モデルをトレーニングしようとします。
ジェネレータと対応するディスクリミネータの両方の特徴空間での混合ベースの距離正則化を提案します。これにより、2人のプレーヤーは、観測されたデータポイントが少ないだけでなく、それらが存在する特徴空間内の相対距離について推論することができます。
多様なデータセットの定性的および定量的評価は、私たちの方法が既存のモデルに一般的に適用可能であり、少数のショットの設定の下で忠実度と多様性の両方を強化することを示しています。
コードが利用可能です。

要約(オリジナル)

Producing diverse and realistic images with generative models such as GANs typically requires large scale training with vast amount of images. GANs trained with limited data can easily memorize few training samples and display undesirable properties like ‘stairlike’ latent space where interpolation in the latent space yields discontinuous transitions in the output space. In this work, we consider a challenging task of pretraining-free few-shot image synthesis, and seek to train existing generative models with minimal overfitting and mode collapse. We propose mixup-based distance regularization on the feature space of both a generator and the counterpart discriminator that encourages the two players to reason not only about the scarce observed data points but the relative distances in the feature space they reside. Qualitative and quantitative evaluation on diverse datasets demonstrates that our method is generally applicable to existing models to enhance both fidelity and diversity under few-shot setting. Code is available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google