Adversarial Likelihood Estimation with One-way Flows

要約

Generative Adversarial Networks (GAN) は高品質のサンプルを生成できますが、サンプルの周囲の確率密度の推定値は提供しません。
ただし、エネルギーベースの設定内で対数尤度を最大化すると、弁別器が正規化されていない密度 (エネルギーと呼ばれることが多い) を提供する敵対的なフレームワークにつながる可能性があることに注意してください。
この観点をさらに発展させ、重要度サンプリングを組み込み、1) Wasserstein GAN は分配関数の偏った推定を実行し、代わりに不偏推定量を使用することを提案します。
2) 尤度を最適化するときは、生成エントロピーを最大化する必要があります。
これは、より良いモード カバレッジを提供すると仮定されています。
以前の研究とは異なり、生成されたサンプルの密度を明示的に計算します。
これは、分配関数の不偏推定器と生成エントロピー項の計算を設計するための重要な要素です。
ジェネレーターの密度は、一方向フロー ネットワークと呼ばれる新しいタイプのフロー ネットワークを介して取得されます。これは、扱いやすい逆関数を必要としないため、アーキテクチャ面での制約が少なくなります。
私たちの実験結果は、より速く収束し、同様のアーキテクチャを持つ GAN と同等のサンプル品質を生成し、一般的に使用されるデータセットへの過剰適合を首尾よく回避し、トレーニング データの滑らかな低次元の潜在表現を生成することを示しています。

要約(オリジナル)

Generative Adversarial Networks (GANs) can produce high-quality samples, but do not provide an estimate of the probability density around the samples. However, it has been noted that maximizing the log-likelihood within an energy-based setting can lead to an adversarial framework where the discriminator provides unnormalized density (often called energy). We further develop this perspective, incorporate importance sampling, and show that 1) Wasserstein GAN performs a biased estimate of the partition function, and we propose instead to use an unbiased estimator; 2) when optimizing for likelihood, one must maximize generator entropy. This is hypothesized to provide a better mode coverage. Different from previous works, we explicitly compute the density of the generated samples. This is the key enabler to designing an unbiased estimator of the partition function and computation of the generator entropy term. The generator density is obtained via a new type of flow network, called one-way flow network, that is less constrained in terms of architecture, as it does not require to have a tractable inverse function. Our experimental results show that we converge faster, produce comparable sample quality to GANs with similar architecture, successfully avoid over-fitting to commonly used datasets and produce smooth low-dimensional latent representations of the training data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google