Concentration Inequalities for $(f,Γ)$-GANs

要約

敵対的生成ネットワーク (GAN) は、ターゲット分布から抽出されたサンプルに近似するサンプルを生成するように生成分布をトレーニングするための教師なし学習手法です。
このような方法の多くは、メトリックまたは発散の最小化として定式化できます。
最近の研究では、積分確率メトリクス (IPM) に基づく GAN、たとえば 1-Wasserstein メトリクスに基づく WGAN の統計的一貫性が証明されています。
IPM は、識別子の空間にわたる線形関数 (期待値の差) を最適化することによって定義されます。
非線形目的関数の使用を可能にするはるかに大きなクラスの GAN は、$(f,\Gamma)$-divergences を使用して構築できます。
これらは IPM と $f$-divergences (例: KL または $\alpha$-divergences) の間を一般化して補間します。
$(f,\Gamma)$-GAN のインスタンスは、多くのアプリケーションでパフォーマンスの向上を示すことが示されています。
この研究では、一般的な $f$ と $\Gamma$ に対する $(f,\Gamma)$-GAN の統計的一貫性を研究します。
具体的には、有限サンプルの濃度不等式を導き出します。
これらの導出には、目的関数の非線形性のため、新しい引数が必要です。
我々は、我々の新しい結果が、適切な限界内での IPM-GAN の既知の結果に匹敵すると同時に、この理論の適用範囲を大幅に拡張することを実証します。

要約(オリジナル)

Generative adversarial networks (GANs) are unsupervised learning methods for training a generator distribution to produce samples that approximate those drawn from a target distribution. Many such methods can be formulated as minimization of a metric or divergence. Recent works have proven the statistical consistency of GANs that are based on integral probability metrics (IPMs), e.g., WGAN which is based on the 1-Wasserstein metric. IPMs are defined by optimizing a linear functional (difference of expectations) over a space of discriminators. A much larger class of GANs, which allow for the use of nonlinear objective functionals, can be constructed using $(f,\Gamma)$-divergences; these generalize and interpolate between IPMs and $f$-divergences (e.g., KL or $\alpha$-divergences). Instances of $(f,\Gamma)$-GANs have been shown to exhibit improved performance in a number of applications. In this work we study the statistical consistency of $(f,\Gamma)$-GANs for general $f$ and $\Gamma$. Specifically, we derive finite-sample concentration inequalities. These derivations require novel arguments due to nonlinearity of the objective functional. We demonstrate that our new results reduce to the known results for IPM-GANs in the appropriate limit while also significantly extending the domain of applicability of this theory.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google