Addressing GAN Training Instabilities via Tunable Classification Losses

要約

敵対的生成ネットワーク (GAN) は、ジェネレーター (G) とディスクリミネーター (D) の間のゼロサム ゲームとしてモデル化されており、正式な保証付きの合成データを生成できます。
D が分類子であることに注意して、クラス確率推定 (CPE) 損失を使用して GAN 値関数を再定式化することから始めます。
CPE損失GANと$f$-発散を最小化する$f$-GANの間の双方向対応を証明します。
また、すべての対称 $f$-divergence は収束において等価であることも示します。
有限のサンプルとモデルの容量設定では、推定誤差と一般化誤差の境界を定義して取得します。
これらの結果を、$\alpha\in(0,\infty]$ でパラメータ化された調整可能な CPE 損失ファミリである $\alpha$-loss を使用して定義された $\alpha$-GAN に特化します。次に、二重目的のクラスを導入します。
GAN は、$(\alpha_D,\alpha_G)$-GAN を取得するために $\alpha$-loss を使用して各プレーヤーの目標をモデル化することで、GAN のトレーニングの不安定性に対処します。結果として生じる非ゼロサム ゲームは、$f$ の最小化を簡素化することを示します。
$(\alpha_D,\alpha_G)$ の適切な条件下での発散。CPE 損失を使用してこの二重目的定式化を一般化し、適切に定義された推定誤差の上限を定義して取得します。最後に、調整 $(\
alpha_D,\alpha_G)$ は、合成 2D ガウス混合リングおよび大規模に公開されている Celeb-A および LSUN Classroom 画像データセットのトレーニングの不安定性を軽減します。

要約(オリジナル)

Generative adversarial networks (GANs), modeled as a zero-sum game between a generator (G) and a discriminator (D), allow generating synthetic data with formal guarantees. Noting that D is a classifier, we begin by reformulating the GAN value function using class probability estimation (CPE) losses. We prove a two-way correspondence between CPE loss GANs and $f$-GANs which minimize $f$-divergences. We also show that all symmetric $f$-divergences are equivalent in convergence. In the finite sample and model capacity setting, we define and obtain bounds on estimation and generalization errors. We specialize these results to $\alpha$-GANs, defined using $\alpha$-loss, a tunable CPE loss family parametrized by $\alpha\in(0,\infty]$. We next introduce a class of dual-objective GANs to address training instabilities of GANs by modeling each player’s objective using $\alpha$-loss to obtain $(\alpha_D,\alpha_G)$-GANs. We show that the resulting non-zero sum game simplifies to minimizing an $f$-divergence under appropriate conditions on $(\alpha_D,\alpha_G)$. Generalizing this dual-objective formulation using CPE losses, we define and obtain upper bounds on an appropriately defined estimation error. Finally, we highlight the value of tuning $(\alpha_D,\alpha_G)$ in alleviating training instabilities for the synthetic 2D Gaussian mixture ring as well as the large publicly available Celeb-A and LSUN Classroom image datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google