Improving GANs with A Dynamic Discriminator

要約

Discriminator は、実際のサンプルと合成されたサンプルを区別することにより、Generative Adversarial Network (GAN) をトレーニングする際に重要な役割を果たします。
実際のデータ分布は同じままですが、生成器が進化するため、合成分布は変化し続け、したがって、弁別器の二重分類タスクに対応する変更をもたらします。
その容量をオンザフライで調整する弁別器は、このような時間変化するタスクによりよく対応できると主張します。
包括的な実証研究により、DynamicD と呼ばれる提案されたトレーニング戦略が、追加の計算コストやトレーニング目標を発生させることなく合成パフォーマンスを向上させることが確認されています。
異なるデータ体制の下で GAN をトレーニングするための 2 つの容量調整スキームが開発されています。
弁別器の過適合の問題。
さまざまなデータセットに対して行われた 2D および 3D 対応の画像合成タスクの実験は、DynamicD の一般化可能性と、ベースラインに対する大幅な改善を実証しています。
さらに、DynamicD は、他の弁別器改善アプローチ (データ拡張、正則化、および事前トレーニングを含む) と相乗的であり、GAN の学習と組み合わせると継続的なパフォーマンスの向上をもたらします。

要約(オリジナル)

Discriminator plays a vital role in training generative adversarial networks (GANs) via distinguishing real and synthesized samples. While the real data distribution remains the same, the synthesis distribution keeps varying because of the evolving generator, and thus effects a corresponding change to the bi-classification task for the discriminator. We argue that a discriminator with an on-the-fly adjustment on its capacity can better accommodate such a time-varying task. A comprehensive empirical study confirms that the proposed training strategy, termed as DynamicD, improves the synthesis performance without incurring any additional computation cost or training objectives. Two capacity adjusting schemes are developed for training GANs under different data regimes: i) given a sufficient amount of training data, the discriminator benefits from a progressively increased learning capacity, and ii) when the training data is limited, gradually decreasing the layer width mitigates the over-fitting issue of the discriminator. Experiments on both 2D and 3D-aware image synthesis tasks conducted on a range of datasets substantiate the generalizability of our DynamicD as well as its substantial improvement over the baselines. Furthermore, DynamicD is synergistic to other discriminator-improving approaches (including data augmentation, regularizers, and pre-training), and brings continuous performance gain when combined for learning GANs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google