PAC-Bayesian Generalization Bounds for Adversarial Generative Models

要約

PAC-ベイジアン理論を生成モデルに拡張し、ワッサースタイン距離と総変動距離に基づいてモデルの一般化境界を開発します。
ワッサースタイン距離に関する最初の結果は、インスタンス空間が制限されていることを前提としていますが、2 番目の結果は次元削減を利用しています。
私たちの結果は当然、Wasserstein GAN と Energy-Based GAN に適用され、私たちの範囲はこれら 2 つの新しいトレーニング目標を提供します。
私たちの仕事は主に理論的なものですが、合成データセットでの Wasserstein GAN の非空虚な一般化境界を示す数値実験を行います。

要約(オリジナル)

We extend PAC-Bayesian theory to generative models and develop generalization bounds for models based on the Wasserstein distance and the total variation distance. Our first result on the Wasserstein distance assumes the instance space is bounded, while our second result takes advantage of dimensionality reduction. Our results naturally apply to Wasserstein GANs and Energy-Based GANs, and our bounds provide new training objectives for these two. Although our work is mainly theoretical, we perform numerical experiments showing non-vacuous generalization bounds for Wasserstein GANs on synthetic datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google