GANs Settle Scores!

要約

生成敵対ネットワーク（GAN）は、目的のデータの基本的な分布を学習するように訓練された生成器と、生成器が出力したサンプルから実際のサンプルを区別するように訓練された識別器からなる。GANに関する文献の大半は、積分確率メトリック（IPM）やダイバージェンスに基づく解析によって識別器の最適性を理解することに焦点を当てている。本論文では、変分アプローチによって生成器の最適化を分析する統一的なアプローチを提案する。f$ダイバージェンス最小化GANでは、その出力分布のスコアとデータ分布のスコアが一致するものが最適生成器であることを示し、IPM GANでは、この最適生成器が、選択したIPM制約空間に関連するカーネルのフローフィールドを含むスコア様関数に一致することを示す。さらに、IPM-GANの最適化は、データと生成器の分布のスコアが制約に関連するカーネルで畳み込まれる、平滑化されたスコアマッチングの1つとして見ることができる。提案されたアプローチは、スコアベースのトレーニングと既存のGANフレーバーを統一する役割を果たし、正規化フローからの結果を活用すると同時に、非飽和GAN損失の安定性などの経験的現象に対する説明も提供する。これらの結果に基づき、スコアとフローのマッチングに基づく$f$-GANとIPM-GANのトレーニング、および識別器ガイド付きLangevinサンプリングに代わる新しい方法を提案する。

要約(オリジナル)

Generative adversarial networks (GANs) comprise a generator, trained to learn the underlying distribution of the desired data, and a discriminator, trained to distinguish real samples from those output by the generator. A majority of GAN literature focuses on understanding the optimality of the discriminator through integral probability metric (IPM) or divergence based analysis. In this paper, we propose a unified approach to analyzing the generator optimization through variational approach. In $f$-divergence-minimizing GANs, we show that the optimal generator is the one that matches the score of its output distribution with that of the data distribution, while in IPM GANs, we show that this optimal generator matches score-like functions, involving the flow-field of the kernel associated with a chosen IPM constraint space. Further, the IPM-GAN optimization can be seen as one of smoothed score-matching, where the scores of the data and the generator distributions are convolved with the kernel associated with the constraint. The proposed approach serves to unify score-based training and existing GAN flavors, leveraging results from normalizing flows, while also providing explanations for empirical phenomena such as the stability of non-saturating GAN losses. Based on these results, we propose novel alternatives to $f$-GAN and IPM-GAN training based on score and flow matching, and discriminator-guided Langevin sampling.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL