A New Paradigm for Generative Adversarial Networks based on Randomized Decision Rules

要約

Generative Adversarial Network (GAN) は、生成モデルをトレーニングするための新しい機械学習方法として最近文献に紹介されました。
ノンパラメトリック クラスタリングやノンパラメトリック条件付き独立性テストなど、統計分野で多くの用途があります。
ただし、GAN のトレーニングは、生成されたデータ間の多様性の欠如を指すモード崩壊の問題により、難しいことで知られています。
この論文では、GAN がこの問題に悩まされる理由を特定し、それに対処するために、ランダム化された決定ルールに基づいた GAN の新しい定式化を提案します。
新しい定式化では、識別器は固定点に収束し、生成器はナッシュ平衡における分布に収束します。
私たちは、弁別器を生成器の事後分布のハイパーパラメータとして扱うことにより、経験的なベイズに似た方法で GAN をトレーニングすることを提案します。
具体的には、確率的勾配マルコフ連鎖モンテカルロ (MCMC) アルゴリズムを使用して、識別器で条件付けされた事後分布から生成器をシミュレートし、生​​成器のシミュレーションとともに確率的勾配降下法を使用して識別器を更新します。
提案された方法がナッシュ均衡に収束することを確立します。
画像生成とは別に、提案した方法をノンパラメトリック クラスタリングおよびノンパラメトリック条件付き独立性テストに適用します。
数値結果の一部は補足資料に記載されています。

要約(オリジナル)

The Generative Adversarial Network (GAN) was recently introduced in the literature as a novel machine learning method for training generative models. It has many applications in statistics such as nonparametric clustering and nonparametric conditional independence tests. However, training the GAN is notoriously difficult due to the issue of mode collapse, which refers to the lack of diversity among generated data. In this paper, we identify the reasons why the GAN suffers from this issue, and to address it, we propose a new formulation for the GAN based on randomized decision rules. In the new formulation, the discriminator converges to a fixed point while the generator converges to a distribution at the Nash equilibrium. We propose to train the GAN by an empirical Bayes-like method by treating the discriminator as a hyper-parameter of the posterior distribution of the generator. Specifically, we simulate generators from its posterior distribution conditioned on the discriminator using a stochastic gradient Markov chain Monte Carlo (MCMC) algorithm, and update the discriminator using stochastic gradient descent along with simulations of the generators. We establish convergence of the proposed method to the Nash equilibrium. Apart from image generation, we apply the proposed method to nonparametric clustering and nonparametric conditional independence tests. A portion of the numerical results is presented in the supplementary material.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google