Parallelized Acquisition for Active Learning using Monte Carlo Sampling

要約

ベイズ推論は依然としてあらゆる科学者にとって最も重要なツールキットの 1 つですが、ますます複雑な実験にはますます高価な尤度関数が必要となり、事後分布のモンテカルロ サンプルを生成するコストが上昇しています。
最近の注目は、ガウス過程 (GP) 回帰に基づく事後分布のエミュレータをアクティブ サンプリングと組み合わせて使用​​し、コストのかかる尤度評価を大幅に削減して同等の精度を達成することに向けられています。
このアプローチの鍵となるのは、真の事後評価を並行して評価できるように、提案をバッチ処理して取得することです。
これは通常、高度にマルチモーダルな取得機能を順次最大化することで実現されます。
残念ながら、このアプローチは並列化が不十分で、極大値に陥る傾向があります。
私たちのアプローチは、GP の平均予測に対してほぼ恥ずかしいほど並列な Nested Sampler を使用して、候補のほぼ最適なバッチを生成することで、この問題に対処します。
結果として得られる、ほぼソートされたモンテカルロ サンプルを使用して、順番に条件付けされた取得関数値に従ってランク付けされた候補のバッチをほとんどコストで生成します。
最終サンプルは、限界量を推測するために使用することもできます。
私たちが提案する実装​​ (NORA) は、さまざまな合成および宇宙論的推論問題において、逐次条件付き取得の最適化と効率的な並列化に匹敵する精度を示しています。

要約(オリジナル)

Bayesian inference remains one of the most important tool-kits for any scientist, but increasingly expensive likelihood functions are required for ever-more complex experiments, raising the cost of generating a Monte Carlo sample of the posterior. Recent attention has been directed towards the use of emulators of the posterior based on Gaussian Process (GP) regression combined with active sampling to achieve comparable precision with far fewer costly likelihood evaluations. Key to this approach is the batched acquisition of proposals, so that the true posterior can be evaluated in parallel. This is usually achieved via sequential maximization of the highly multimodal acquisition function. Unfortunately, this approach parallelizes poorly and is prone to getting stuck in local maxima. Our approach addresses this issue by generating nearly-optimal batches of candidates using an almost-embarrassingly parallel Nested Sampler on the mean prediction of the GP. The resulting nearly-sorted Monte Carlo sample is used to generate a batch of candidates ranked according to their sequentially conditioned acquisition function values at little cost. The final sample can also be used for inferring marginal quantities. Our proposed implementation (NORA) demonstrates comparable accuracy to sequential conditioned acquisition optimization and efficient parallelization in various synthetic and cosmological inference problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google