Balanced Training of Energy-Based Models with Adaptive Flow Sampling

要約

エネルギーベース モデル (EBM) は、正規化されていないログ密度を直接パラメータ化する多用途の密度推定モデルです。
EBM は非常に柔軟ですが、モデルの正規化定数が指定されていないため、モデルの尤度が計算的に困難になります。
トレーニング用の尤度勾配を推定するために、いくつかの近似サンプラーと変分推論手法が提案されています。
これらの手法はサンプルの生成において有望な結果を示していますが、データセット内のさまざまなクラスの相対的な重要性の決定など、推定密度の統計的精度にはほとんど注意が払われていません。
この研究では、サンプリングを容易にするために最近提案されている、異なるタイプの生成モデルである正規化フロー (NF) を使用する、EBM 用の新しい最尤トレーニング アルゴリズムを提案します。
私たちの方法では、トレーニング中に NF を EBM に適合させるため、NF 支援サンプリング スキームが常に EBM に正確な勾配を提供し、最終的には新しいデータを生成するための高速サンプラーが実現します。

要約(オリジナル)

Energy-based models (EBMs) are versatile density estimation models that directly parameterize an unnormalized log density. Although very flexible, EBMs lack a specified normalization constant of the model, making the likelihood of the model computationally intractable. Several approximate samplers and variational inference techniques have been proposed to estimate the likelihood gradients for training. These techniques have shown promising results in generating samples, but little attention has been paid to the statistical accuracy of the estimated density, such as determining the relative importance of different classes in a dataset. In this work, we propose a new maximum likelihood training algorithm for EBMs that uses a different type of generative model, normalizing flows (NF), which have recently been proposed to facilitate sampling. Our method fits an NF to an EBM during training so that an NF-assisted sampling scheme provides an accurate gradient for the EBMs at all times, ultimately leading to a fast sampler for generating new data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google