An efficient likelihood-free Bayesian inference method based on sequential neural posterior estimation

要約

最近、逐次神経事後推定 (SNPE) 手法が、扱いにくい尤度を持つシミュレーション ベースのモデルを扱うために提案されています。
近似ベイジアン計算とは異なり、SNPE テクニックは、特定の損失関数を最小化することにより、ニューラル ネットワーク ベースの条件付き密度推定器を使用して逐次シミュレーションから事後計算を学習します。
Lueckmannらによって提案されたSNPE法。
(2017) は、キャリブレーション カーネルを使用して観測データの周囲のサンプルの重みを増加させ、その結果、集中損失関数が得られました。
ただし、キャリブレーション カーネルを使用すると、経験的損失とその勾配の両方の分散が増加し、トレーニングが非効率になる可能性があります。
SNPE の安定性を向上させるために、この論文では適応キャリブレーション カーネルといくつかの分散削減技術を使用することを提案します。
提案された方法は、トレーニングのプロセスを大幅にスピードアップし、数値実験によって確認されたように、元の SNPE 方法や一部の既存の競合法よりも優れた事後近似を提供します。
また、実世界のデータセットを使用した高次元モデルに対して、提案手法の優位性を実証することに成功しました。

要約(オリジナル)

Sequential neural posterior estimation (SNPE) techniques have been recently proposed for dealing with simulation-based models with intractable likelihoods. Unlike approximate Bayesian computation, SNPE techniques learn the posterior from sequential simulation using neural network-based conditional density estimators by minimizing a specific loss function. The SNPE method proposed by Lueckmann et al. (2017) used a calibration kernel to boost the sample weights around the observed data, resulting in a concentrated loss function. However, the use of calibration kernels may increase the variances of both the empirical loss and its gradient, making the training inefficient. To improve the stability of SNPE, this paper proposes to use an adaptive calibration kernel and several variance reduction techniques. The proposed method greatly speeds up the process of training and provides a better approximation of the posterior than the original SNPE method and some existing competitors as confirmed by numerical experiments. We also manage to demonstrate the superiority of the proposed method for a high-dimensional model with real-world dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google