A Wasserstein perspective of Vanilla GANs

要約

敵対的生成ネットワーク (GAN) の実証的な成功により、理論研究への関心が高まりました。
統計文献は主に、特に優れた次元削減特性を可能にする Wasserstein GAN とその一般化に焦点を当てています。
元の最適化問題である Vanilla GAN の統計結果は依然としてかなり限定的であり、滑らかな活性化関数や潜在空間と周囲空間の等しい次元などの仮定が必要です。
このギャップを埋めるために、バニラ GAN から Wasserstein 距離までの接続を描きます。
そうすることで、Wasserstein GAN の既存の結果を Vanilla GAN に拡張できます。
特に、ワ​​ッサーシュタイン距離におけるバニラ GAN のオラクル不等式を取得します。
このオラクルの不等式の仮定は、フィードフォワード ReLU ネットワークなど、実際に一般的に使用されるネットワーク アーキテクチャによって満たされるように設計されています。
有限の古いノルムをもつフィードフォワード ReLU ネットワークによるリプシッツ関数の近似の定量的結果を提供することにより、未知の確率分布の推定量としての Vanilla GAN と Wasserstein GAN の収束率を結論付けます。

要約(オリジナル)

The empirical success of Generative Adversarial Networks (GANs) caused an increasing interest in theoretical research. The statistical literature is mainly focused on Wasserstein GANs and generalizations thereof, which especially allow for good dimension reduction properties. Statistical results for Vanilla GANs, the original optimization problem, are still rather limited and require assumptions such as smooth activation functions and equal dimensions of the latent space and the ambient space. To bridge this gap, we draw a connection from Vanilla GANs to the Wasserstein distance. By doing so, existing results for Wasserstein GANs can be extended to Vanilla GANs. In particular, we obtain an oracle inequality for Vanilla GANs in Wasserstein distance. The assumptions of this oracle inequality are designed to be satisfied by network architectures commonly used in practice, such as feedforward ReLU networks. By providing a quantitative result for the approximation of a Lipschitz function by a feedforward ReLU network with bounded H\’older norm, we conclude a rate of convergence for Vanilla GANs as well as Wasserstein GANs as estimators of the unknown probability distribution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google