$(α_D,α_G)$-GANs: Addressing GAN Training Instabilities via Dual Objectives

要約

タイトル：$(α_D,α_G)$-GANs：デュアルオブジェクティブを通じたGANトレーニングの不安定性の対処

要約：

– GANのトレーニングの不安定性を解消するために、異なるバリューファンクション（オブジェクティブ）を持つデュアルオブジェクティブGANのクラスを紹介する。
– 特に、各オブジェクティブをα-lossと呼ばれるチューニング可能な分類損失を使用してモデル化し、$(\alpha_D,\alpha_G)\in (0,\infty]^2$によってパラメータ化された$(\alpha_D,\alpha_G)$-GANを得る。
– 十分なサンプル数とGおよびDの能力があれば、以下の条件で非ゼロ和ゲームを最小化することによって、適切な条件の下で、$(\alpha_D,\alpha_G)$に関する$f$-divergenceを最小化することになることを示す。
– 有限のサンプルと能力の設定において、推定誤差を定義し、無限のサンプルを持つ最適設定に対するジェネレータの性能の差を定量化し、この誤差の上界を得る。ある条件の下で、この誤差はオーダー最適であることを示す。
– 最後に、合成2Dガウス混合リングとStacked MNISTデータセットにおけるトレーニング不安定性を緩和するために、$(\alpha_D,\alpha_G)$をチューニングする価値を強調する。

要約(オリジナル)

In an effort to address the training instabilities of GANs, we introduce a class of dual-objective GANs with different value functions (objectives) for the generator (G) and discriminator (D). In particular, we model each objective using $\alpha$-loss, a tunable classification loss, to obtain $(\alpha_D,\alpha_G)$-GANs, parameterized by $(\alpha_D,\alpha_G)\in (0,\infty]^2$. For sufficiently large number of samples and capacities for G and D, we show that the resulting non-zero sum game simplifies to minimizing an $f$-divergence under appropriate conditions on $(\alpha_D,\alpha_G)$. In the finite sample and capacity setting, we define estimation error to quantify the gap in the generator’s performance relative to the optimal setting with infinite samples and obtain upper bounds on this error, showing it to be order optimal under certain conditions. Finally, we highlight the value of tuning $(\alpha_D,\alpha_G)$ in alleviating training instabilities for the synthetic 2D Gaussian mixture ring and the Stacked MNIST datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI