A Systematic Survey of Regularization and Normalization in GANs

要約

Generative Adversarial Networks (GAN) は、ディープニューラルネットワークの発展により、様々な場面で広く応用されるようになった。GANの原型は、ネットワークの容量が無限であるというノンパラメトリックな仮定に基づいて提案された。しかし、GANが事前情報なしに対象分布に当てはめられるかどうかはまだ不明である。そのため、GANの学習においては、収束しない、モードが崩れる、勾配が消失する、などの多くの問題が未解決のまま残されている。正則化と正規化は、学習を安定化させ識別力を向上させるために、事前情報を導入する一般的な方法です。GANのための正則化・正規化手法は数多く提案されているが、我々の知る限り、これらの手法の目的や開発に主眼を置いた包括的な調査は存在せず、いくつかの包括的で限定的な調査を除いては、GANのための正則化・正規化手法は存在しない。本研究では、GANsの学習における様々な観点から、正則化・正規化技術に関する包括的な調査を行う。まず、GANs学習の異なる観点を体系的に記述し、正則化・正規化の異なる目的を得る。これらの目的に基づいて、我々は新しい分類法を提案する。さらに、異なるデータセットにおける主流の手法の性能を比較し、最先端のGANで頻繁に採用されている正則化・正規化手法の応用について検討する。最後に、この領域における今後の研究の方向性を明らかにする。本研究におけるGANの正則化・正規化に関連するコードや研究は、https://github.com/iceli1007/GANs-Regularization-Review にまとめられている。

要約(オリジナル)

Generative Adversarial Networks (GANs) have been widely applied in different scenarios thanks to the development of deep neural networks. The original GAN was proposed based on the non-parametric assumption of the infinite capacity of networks. However, it is still unknown whether GANs can fit the target distribution without any prior information. Due to the overconfident assumption, many issues remain unaddressed in GANs’ training, such as non-convergence, mode collapses, gradient vanishing. Regularization and normalization are common methods of introducing prior information to stabilize training and improve discrimination. Although a handful number of regularization and normalization methods have been proposed for GANs, to the best of our knowledge, there exists no comprehensive survey that primarily focuses on objectives and development of these methods, apart from some in-comprehensive and limited scope studies. In this work, we conduct a comprehensive survey on the regularization and normalization techniques from different perspectives of GANs training. First, we systematically describe different perspectives of GANs training and thus obtain the different objectives of regularization and normalization. Based on these objectives, we propose a new taxonomy. Furthermore, we compare the performance of the mainstream methods on different datasets and investigate the applications of regularization and normalization techniques that have been frequently employed in state-of-the-art GANs. Finally, we highlight potential future directions of research in this domain. Code and studies related to the regularization and normalization of GANs in this work is summarized on https://github.com/iceli1007/GANs-Regularization-Review.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL