Low-Budget Simulation-Based Inference with Bayesian Neural Networks

要約

シミュレーションベースの推論手法は、トレーニング シミュレーションが制限されているか高価である場合、データが不足している状況では不正確であることが示されています。
このような状況では、推論ネットワークは特に過剰適合する傾向があり、ネットワークの重みの識別性の欠如から生じる計算上の不確実性を考慮せずに推論ネットワークを使用すると、信頼性の低い結果が生じる可能性があります。
この問題に対処するために、低予算のシミュレーションベースの推論でベイジアン ニューラル ネットワークを使用し、それによって事後近似の計算の不確実性を明示的に考慮することを提案します。
推論用に調整されたベイジアン ニューラル ネットワーク事前分布のファミリーを設計し、利用可能なシミュレーションが $O(10)$ 程度の場合でも、テスト済みのベンチマークで適切に調整された事後分布が得られることを示します。
これにより、単一のシミュレーションが計算コストがかかる宇宙論の分野の問題で実証したように、非常に高価なシミュレータを使用して信頼性の高いシミュレーションベースの推論を実行できる可能性が開かれます。
ベイジアン ニューラル ネットワークは、わずか数百回のシミュレーションで有益で適切に調整された事後推定値を生成することを示します。

要約(オリジナル)

Simulation-based inference methods have been shown to be inaccurate in the data-poor regime, when training simulations are limited or expensive. Under these circumstances, the inference network is particularly prone to overfitting, and using it without accounting for the computational uncertainty arising from the lack of identifiability of the network weights can lead to unreliable results. To address this issue, we propose using Bayesian neural networks in low-budget simulation-based inference, thereby explicitly accounting for the computational uncertainty of the posterior approximation. We design a family of Bayesian neural network priors that are tailored for inference and show that they lead to well-calibrated posteriors on tested benchmarks, even when as few as $O(10)$ simulations are available. This opens up the possibility of performing reliable simulation-based inference using very expensive simulators, as we demonstrate on a problem from the field of cosmology where single simulations are computationally expensive. We show that Bayesian neural networks produce informative and well-calibrated posterior estimates with only a few hundred simulations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google