Flooding Regularization for Stable Training of Generative Adversarial Networks

要約

Generative Adversarial Networks (GAN) は、画像生成において顕著なパフォーマンスを示しています。
ただし、GAN トレーニングには不安定性の問題があります。
この問題に対処する主なアプローチの 1 つは、敵対的損失の種類の変更に加えて正則化項を使用することが多く、損失関数を変更することです。
この論文は、敵対的損失関数を直接正則化することに焦点を当てています。
教師あり学習における過学習抑制手法であるフラッディングをGANに適用し、識別器の損失が過度に低くなることを直接防ぐ手法を提案します。
フラッディングにはフラッド レベルの調整が必要ですが、GAN に適用する場合、フラッド レベル設定の適切な範囲は、バイナリ クロス エントロピー損失を使用した GAN の理論分析によって裏付けられた敵対的損失関数によって決定されることを提案します。
私たちは、フラッディングが GAN トレーニングを安定化し、他の安定化手法と組み合わせることができることを実験的に検証しました。
また、識別器の損失を洪水レベル以上に制限することで、洪水レベルが多少高くても訓練が安定して進行することを示した。

要約(オリジナル)

Generative Adversarial Networks (GANs) have shown remarkable performance in image generation. However, GAN training suffers from the problem of instability. One of the main approaches to address this problem is to modify the loss function, often using regularization terms in addition to changing the type of adversarial losses. This paper focuses on directly regularizing the adversarial loss function. We propose a method that applies flooding, an overfitting suppression method in supervised learning, to GANs to directly prevent the discriminator’s loss from becoming excessively low. Flooding requires tuning the flood level, but when applied to GANs, we propose that the appropriate range of flood level settings is determined by the adversarial loss function, supported by theoretical analysis of GANs using the binary cross entropy loss. We experimentally verify that flooding stabilizes GAN training and can be combined with other stabilization techniques. We also show that by restricting the discriminator’s loss to be no less than the flood level, the training proceeds stably even when the flood level is somewhat high.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google