PAC-Bayesian Generalization Bounds for Adversarial Generative Models

要約

PAC ベイズ理論を生成モデルに拡張し、ワッサーシュタイン距離と総変動距離に基づいてモデルの一般化限界を開発します。
Wasserstein 距離に関する最初の結果はインスタンス空間が有限であることを前提としていますが、2 番目の結果は次元削減を利用しています。
私たちの結果は当然、Wasserstein GAN と Energy-Based GAN に当てはまり、私たちの境界はこれら 2 つの新しいトレーニング目標を提供します。
私たちの研究は主に理論的なものですが、合成データセット上で Wasserstein GAN の空でない一般化限界を示す数値実験を行っています。

要約(オリジナル)

We extend PAC-Bayesian theory to generative models and develop generalization bounds for models based on the Wasserstein distance and the total variation distance. Our first result on the Wasserstein distance assumes the instance space is bounded, while our second result takes advantage of dimensionality reduction. Our results naturally apply to Wasserstein GANs and Energy-Based GANs, and our bounds provide new training objectives for these two. Although our work is mainly theoretical, we perform numerical experiments showing non-vacuous generalization bounds for Wasserstein GANs on synthetic datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google