Statistical Error Bounds for GANs with Nonlinear Objective Functionals

要約

敵対的生成ネットワーク (GAN) は、ターゲット分布から抽出されたサンプルに近似するサンプルを生成するように生成分布をトレーニングするための教師なし学習手法です。
このような方法の多くは、確率分布間のメトリックまたは発散の最小化として定式化できます。
最近の研究では、積分確率メトリクス (IPM) に基づく GAN、たとえば 1-Wasserstein メトリクスに基づく WGAN の統計誤差限界が導出されています。
一般に、IPM は、識別子の空間にわたる線形関数 (期待値の差) を最適化することによって定義されます。
ここでは $(f,\Gamma)$-GAN と呼ぶ、はるかに大きなクラスの GAN は、$f$-divergences (例: Jensen-Shannon、KL、または $\alpha$-divergences) を組み合わせて使用​​して構築できます。
正規化識別子空間 $\Gamma$ (例: $1$-Lipschitz 関数)。
これらの GAN は、$f$ の選択に応じて非線形の目的関数を持ち、多くのアプリケーションでパフォーマンスの向上を示すことが示されています。
この研究では、$f$ と $\Gamma$ の一般クラスに対する $(f,\Gamma)$-GAN の統計誤差限界を有限標本濃度不等式の形式で導出します。
これらの結果は、$(f,\Gamma)$-GAN の統計的一貫性を証明し、適切な制限における IPM-GAN の既知の結果に帰着します。
最後に、私たちの結果は、無制限のサポートを備えたディストリビューションの GAN のパフォーマンスについての新たな洞察も提供します。

要約(オリジナル)

Generative adversarial networks (GANs) are unsupervised learning methods for training a generator distribution to produce samples that approximate those drawn from a target distribution. Many such methods can be formulated as minimization of a metric or divergence between probability distributions. Recent works have derived statistical error bounds for GANs that are based on integral probability metrics (IPMs), e.g., WGAN which is based on the 1-Wasserstein metric. In general, IPMs are defined by optimizing a linear functional (difference of expectations) over a space of discriminators. A much larger class of GANs, which we here call $(f,\Gamma)$-GANs, can be constructed using $f$-divergences (e.g., Jensen-Shannon, KL, or $\alpha$-divergences) together with a regularizing discriminator space $\Gamma$ (e.g., $1$-Lipschitz functions). These GANs have nonlinear objective functions, depending on the choice of $f$, and have been shown to exhibit improved performance in a number of applications. In this work we derive statistical error bounds for $(f,\Gamma)$-GANs for general classes of $f$ and $\Gamma$ in the form of finite-sample concentration inequalities. These results prove the statistical consistency of $(f,\Gamma)$-GANs and reduce to the known results for IPM-GANs in the appropriate limit. Finally, our results also give new insight into the performance of GANs for distributions with unbounded support.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google