NAUTILUS: boosting Bayesian importance nested sampling with deep learning

要約

深層学習を使用したベイジアン事後推定および証拠推定のための重要度ネスト サンプリング (INS) 手法の効率を高める新しいアプローチを紹介します。
バニラ ネスト サンプリング (NS) アルゴリズムやマルコフ連鎖モンテカルロ (MCMC) アルゴリズムなどの棄却ベースのサンプリング手法とは異なり、重要度サンプリング手法では事後推定と証拠推定にすべての尤度評価を使用できます。
ただし、重要度を効率的にサンプリングするには、事後分布を厳密に模倣した提案分布が必要です。
このタスクを達成するために、ニューラル ネットワーク回帰を介して INS とディープ ラーニングを組み合わせる方法を示します。
また、ベイジアン事後推定および証拠推定のためのこの手法のリファレンス オープンソース Python 実装である NAUTILUS も紹介します。
系外惑星検出、銀河 SED フィッティング、宇宙論におけるさまざまな困難な合成問題と現実世界のアプリケーションについて、EMCEE、DYNESTY、ULTRANEST、POCOMC などの一般的な NS および MCMC パッケージと NAUTILUS を比較します。
すべてのアプリケーションにおいて、NAUTILUS のサンプリング効率は他のすべてのサンプラーよりも大幅に高く、多くの場合 1 桁以上も高くなります。
同時に、NAUTILUS は非常に正確な結果を提供し、テストされた他のすべてのサンプラーよりも必要な尤度評価が少なくなります。
また、NAUTILUS は尤度の次元に関して優れたスケーリングを持ち、多くの CPU に対して容易に並列化できることも示します。

要約(オリジナル)

We introduce a novel approach to boost the efficiency of the importance nested sampling (INS) technique for Bayesian posterior and evidence estimation using deep learning. Unlike rejection-based sampling methods such as vanilla nested sampling (NS) or Markov chain Monte Carlo (MCMC) algorithms, importance sampling techniques can use all likelihood evaluations for posterior and evidence estimation. However, for efficient importance sampling, one needs proposal distributions that closely mimic the posterior distributions. We show how to combine INS with deep learning via neural network regression to accomplish this task. We also introduce NAUTILUS, a reference open-source Python implementation of this technique for Bayesian posterior and evidence estimation. We compare NAUTILUS against popular NS and MCMC packages, including EMCEE, DYNESTY, ULTRANEST and POCOMC, on a variety of challenging synthetic problems and real-world applications in exoplanet detection, galaxy SED fitting and cosmology. In all applications, the sampling efficiency of NAUTILUS is substantially higher than that of all other samplers, often by more than an order of magnitude. Simultaneously, NAUTILUS delivers highly accurate results and needs fewer likelihood evaluations than all other samplers tested. We also show that NAUTILUS has good scaling with the dimensionality of the likelihood and is easily parallelizable to many CPUs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google