Dynamically Masked Discriminator for Generative Adversarial Networks

要約

生成逆数ネットワーク（GAN）の学習は、依然として困難な問題である。識別器は実データ／生成データの分布を学習することで生成器を訓練する。しかし、生成データの分布は学習過程を通して変化するため、識別器が学習することは困難である。本論文では、オンライン継続学習の観点からGANの新しい手法を提案する。過去に生成されたデータに基づいて学習された識別器モデルは、新着生成データの変化に対する適応が遅くなることが多く、その結果、生成結果の品質が低下する。生成データをストリームとして扱うことで、識別器が生成データにおける新しい知識の学習を遅らせるかどうかを検出することを提案する。そのため、識別器が新しい知識を高速に学習するように明示的に強制することができる。特に、識別器の学習の遅れを自動的に検出し、その特徴を動的にマスクすることで、生成データの時間的に変化する分布を適応的に学習できる新しい識別器を提案する。実験の結果、本手法は最先端のアプローチを凌駕することが示された。

要約(オリジナル)

Training Generative Adversarial Networks (GANs) remains a challenging problem. The discriminator trains the generator by learning the distribution of real/generated data. However, the distribution of generated data changes throughout the training process, which is difficult for the discriminator to learn. In this paper, we propose a novel method for GANs from the viewpoint of online continual learning. We observe that the discriminator model, trained on historically generated data, often slows down its adaptation to the changes in the new arrival generated data, which accordingly decreases the quality of generated results. By treating the generated data in training as a stream, we propose to detect whether the discriminator slows down the learning of new knowledge in generated data. Therefore, we can explicitly enforce the discriminator to learn new knowledge fast. Particularly, we propose a new discriminator, which automatically detects its retardation and then dynamically masks its features, such that the discriminator can adaptively learn the temporally-vary distribution of generated data. Experimental results show our method outperforms the state-of-the-art approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL