Local Convergence of Gradient Descent-Ascent for Training Generative Adversarial Networks

要約

Generative Adversarial Networks (GAN) は、複雑な高次元データの生成モデルをトレーニングするための一般的な定式化です。
GAN をトレーニングする標準的な方法には、ミニマックス最適化問題に対する勾配降下上昇 (GDA) 手順が含まれます。
ダイナミクスの非線形性により、この手順は一般に解析が困難です。
カーネルベースの識別器を使用して GAN をトレーニングするための GDA のローカル ダイナミクスを研究します。
この収束解析は、[Becker et al.
2022]。
私たちの分析により、学習率、正則化、カーネル弁別器の帯域幅が GDA の局所収束率に及ぼす影響が明らかになりました。
重要なのは、システムがいつ収束、振動、発散するかを示す相転移を示していることです。
また、当社の主張を検証する数値シミュレーションも提供します。

要約(オリジナル)

Generative Adversarial Networks (GANs) are a popular formulation to train generative models for complex high dimensional data. The standard method for training GANs involves a gradient descent-ascent (GDA) procedure on a minimax optimization problem. This procedure is hard to analyze in general due to the nonlinear nature of the dynamics. We study the local dynamics of GDA for training a GAN with a kernel-based discriminator. This convergence analysis is based on a linearization of a non-linear dynamical system that describes the GDA iterations, under an \textit{isolated points model} assumption from [Becker et al. 2022]. Our analysis brings out the effect of the learning rates, regularization, and the bandwidth of the kernel discriminator, on the local convergence rate of GDA. Importantly, we show phase transitions that indicate when the system converges, oscillates, or diverges. We also provide numerical simulations that verify our claims.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google