Variational autoencoder with weighted samples for high-dimensional non-parametric adaptive importance sampling

要約

重み付けされたサンプルを使用した確率密度関数推定は、すべての適応重要度サンプリング アルゴリズムの主な基礎です。
従来、ターゲット分布はノンパラメトリック モデルまたはパラメトリック ファミリ内で近似されます。
ただし、これらのモデルは次元の呪いや柔軟性の欠如に悩まされています。
この寄稿では、変分オートエンコーダによってパラメータ化された分布を近似モデルとして使用することを提案します。
新しい目的関数を導入することで、既存のフレームワークを加重サンプルの場合に拡張します。
得られた分布ファミリーの柔軟性により、ノンパラメトリック モデルと同じくらい表現力が豊かになり、推定するパラメーターの数が非常に多いにもかかわらず、このファミリーは高次元では古典的なガウスまたは混合ガウス ファミリよりもはるかに効率的です。
さらに、モデルに柔軟性を加え、多峰性分布を学習できるようにするために、変分オートエンコーダーの潜在変数の学習可能な事前分布を考慮します。
また、変分オートエンコーダーがニューラル ネットワークの適切な開始重みを見つけて、事後崩壊現象の発生を可能な限り防ぐための新しい事前トレーニング手順も導入します。
最後に、結果の分布を重要度サンプリングとどのように組み合わせることができるかを明示し、既存の適応重要度サンプリング アルゴリズムで提案された手順を利用して、ターゲット分布から点を抽出し、2 つの多峰性問題でまれな事象の確率を高次元で推定します。

要約(オリジナル)

Probability density function estimation with weighted samples is the main foundation of all adaptive importance sampling algorithms. Classically, a target distribution is approximated either by a non-parametric model or within a parametric family. However, these models suffer from the curse of dimensionality or from their lack of flexibility. In this contribution, we suggest to use as the approximating model a distribution parameterised by a variational autoencoder. We extend the existing framework to the case of weighted samples by introducing a new objective function. The flexibility of the obtained family of distributions makes it as expressive as a non-parametric model, and despite the very high number of parameters to estimate, this family is much more efficient in high dimension than the classical Gaussian or Gaussian mixture families. Moreover, in order to add flexibility to the model and to be able to learn multimodal distributions, we consider a learnable prior distribution for the variational autoencoder latent variables. We also introduce a new pre-training procedure for the variational autoencoder to find good starting weights of the neural networks to prevent as much as possible the posterior collapse phenomenon to happen. At last, we explicit how the resulting distribution can be combined with importance sampling, and we exploit the proposed procedure in existing adaptive importance sampling algorithms to draw points from a target distribution and to estimate a rare event probability in high dimension on two multimodal problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google