MonoFlow: Rethinking Divergence GANs via the Perspective of Wasserstein Gradient Flows

要約

敵対的生成ネットワーク (GAN) における敵対的トレーニングの従来の理解は、弁別器が発散を推定するようにトレーニングされ、生成器がこの発散を最小限に抑えるように学習するというものです。
GAN の多くの変種がこのパラダイムに従って開発されたという事実にもかかわらず、GAN とその実際のアルゴリズムに関する現在の理論的理解には一貫性がないと我々は主張します。
この論文では、GAN の理論的洞察とアルゴリズムのインスピレーションを得るために、サンプル空間内の粒子の進化を特徴付けるワッサーシュタイン勾配流を利用します。
統一された生成モデリング フレームワークである MonoFlow を導入します。粒子の進化は、対数密度比の単調増加マッピングによって再スケールされます。
私たちのフレームワークでは、敵対的トレーニングは、最初に弁別器のトレーニングを通じて MonoFlow のベクトル場を取得する手順とみなすことができ、ジェネレーターは、対応するベクトル場によって定義される粒子の流れを描画することを学習します。
また、変分発散最小化と敵対的トレーニングの基本的な違いも明らかにします。
この分析は、どのタイプのジェネレータ損失関数が GAN のトレーニングの成功につながるかを特定するのに役立ち、GAN が MonoFlow を実現する限り、文献を超えた損失設計 (非飽和損失など) を持つ可能性があることを示唆します。
私たちのフレームワークの有効性を検証するために、一貫した実証研究が含まれています。

要約(オリジナル)

The conventional understanding of adversarial training in generative adversarial networks (GANs) is that the discriminator is trained to estimate a divergence, and the generator learns to minimize this divergence. We argue that despite the fact that many variants of GANs were developed following this paradigm, the current theoretical understanding of GANs and their practical algorithms are inconsistent. In this paper, we leverage Wasserstein gradient flows which characterize the evolution of particles in the sample space, to gain theoretical insights and algorithmic inspiration of GANs. We introduce a unified generative modeling framework – MonoFlow: the particle evolution is rescaled via a monotonically increasing mapping of the log density ratio. Under our framework, adversarial training can be viewed as a procedure first obtaining MonoFlow’s vector field via training the discriminator and the generator learns to draw the particle flow defined by the corresponding vector field. We also reveal the fundamental difference between variational divergence minimization and adversarial training. This analysis helps us to identify what types of generator loss functions can lead to the successful training of GANs and suggest that GANs may have more loss designs beyond the literature (e.g., non-saturated loss), as long as they realize MonoFlow. Consistent empirical studies are included to validate the effectiveness of our framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google