Dynamically Masked Discriminator for Generative Adversarial Networks

要約

敵対的生成ネットワーク (GAN) のトレーニングは依然として困難な問題です。
ディスクリミネーターは、実際のデータ/生成されたデータの分布を学習することでジェネレーターをトレーニングします。
ただし、生成されたデータの分布はトレーニング プロセス全体を通じて変化するため、識別器が学習するのは困難です。
本稿では、オンライン継続学習の観点から GAN の新しい手法を提案します。
過去に生成されたデータに基づいてトレーニングされた識別器モデルは、多くの場合、新しく到着した生成データの変化への適応が遅くなり、それに応じて生成された結果の品質が低下することが観察されています。
トレーニングで生成されたデータをストリームとして扱うことにより、弁別器が生成されたデータ内の新しい知識の学習を遅らせるかどうかを検出することを提案します。
したがって、ディスクリミネーターが新しい知識を迅速に学習するように明示的に強制できます。
特に、生成されたデータの時間的に変化する分布を識別器が適応的に学習できるように、遅延を自動的に検出し、その特徴を動的にマスクする新しい識別器を提案します。
実験結果は、私たちの方法が最先端のアプローチよりも優れていることを示しています。

要約(オリジナル)

Training Generative Adversarial Networks (GANs) remains a challenging problem. The discriminator trains the generator by learning the distribution of real/generated data. However, the distribution of generated data changes throughout the training process, which is difficult for the discriminator to learn. In this paper, we propose a novel method for GANs from the viewpoint of online continual learning. We observe that the discriminator model, trained on historically generated data, often slows down its adaptation to the changes in the new arrival generated data, which accordingly decreases the quality of generated results. By treating the generated data in training as a stream, we propose to detect whether the discriminator slows down the learning of new knowledge in generated data. Therefore, we can explicitly enforce the discriminator to learn new knowledge fast. Particularly, we propose a new discriminator, which automatically detects its retardation and then dynamically masks its features, such that the discriminator can adaptively learn the temporally-vary distribution of generated data. Experimental results show our method outperforms the state-of-the-art approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google