ScoreMix: A Scalable Augmentation Strategy for Training GANs with Limited Data

要約

Generative Adversarial Networks (GAN)は、利用可能な学習データが限られている場合、一般的にオーバーフィッティングに悩まされる。GANの学習を容易にするために、現在の手法では、データ固有の補強技術を用いることが提案されている。しかし、その有効性にもかかわらず、これらの手法を実用的なアプリケーションに拡張することは困難である。本研究では、様々な画像合成タスクのための、新規かつスケーラブルなデータ拡張アプローチであるScoreMixを紹介する。まず、実サンプルの凸組み合わせを用いて、拡張されたサンプルを生成する。次に、データスコアのノルム、すなわち対数密度関数の勾配を最小化することにより、オーグメンテーションされたサンプルを最適化する。この手順により、拡張されたサンプルはデータ多様体に近くなるように強制される。スコアを推定するために、マルチスケールスコアマッチングを用いた深層推定ネットワークを学習する。異なる画像合成タスクに対して、異なるデータを用いてスコア推定ネットワークを学習させる。このとき、ハイパーパラメータのチューニングやネットワークアーキテクチャの変更は必要ない。ScoreMix法はデータの多様性を効果的に増加させ、オーバーフィッティングの問題を減少させる。さらに、わずかな修正で既存のGANモデルに容易に組み込むことができる。多くのタスクに関する実験結果から、ScoreMix法を適用したGANモデルが大幅な改善を達成することが実証されています。

要約(オリジナル)

Generative Adversarial Networks (GANs) typically suffer from overfitting when limited training data is available. To facilitate GAN training, current methods propose to use data-specific augmentation techniques. Despite the effectiveness, it is difficult for these methods to scale to practical applications. In this work, we present ScoreMix, a novel and scalable data augmentation approach for various image synthesis tasks. We first produce augmented samples using the convex combinations of the real samples. Then, we optimize the augmented samples by minimizing the norms of the data scores, i.e., the gradients of the log-density functions. This procedure enforces the augmented samples close to the data manifold. To estimate the scores, we train a deep estimation network with multi-scale score matching. For different image synthesis tasks, we train the score estimation network using different data. We do not require the tuning of the hyperparameters or modifications to the network architecture. The ScoreMix method effectively increases the diversity of data and reduces the overfitting problem. Moreover, it can be easily incorporated into existing GAN models with minor modifications. Experimental results on numerous tasks demonstrate that GAN models equipped with the ScoreMix method achieve significant improvements.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL