Sensitivity-Aware Amortized Bayesian Inference

要約

ベイズ推論は、不確実性の下で確率的な推論と意思決定を行うための強力なフレームワークです。
最新のベイジアン ワークフローにおける基本的な選択は、尤度関数と事前分布、事後近似器、およびデータの仕様に関係します。
それぞれの選択はモデルベースの推論とその後の決定に大きな影響を与える可能性があるため、感度分析が必要になります。
この研究では、感度分析を償却ベイズ推論 (ABI、つまりニューラル ネットワークを使用したシミュレーションベースの推論) に統合する多面的なアプローチを提案します。
まず、重み共有を利用して、最小限の計算オーバーヘッドでトレーニング プロセスにおける代替尤度と以前の仕様の間の構造的類似性をエンコードします。
2 番目に、ニューラル ネットワークの迅速な推論を活用して、さまざまなデータの摂動や前処理手順に対する感度を評価します。
他のほとんどのベイズ手法とは対照的に、どちらのステップも、尤度、事前確率、またはデータセットの選択ごとにモデルを再適合するというコストのかかるボトルネックを回避します。
最後に、ニューラル ネットワーク アンサンブルを使用して、目に見えないデータの信頼性の低い近似によって引き起こされる結果の変動を評価することを提案します。
私たちは、病気の発生動態や地球温暖化閾値の推定から人間の意思決定モデルの比較に至るまで、応用モデリング問題におけるこの手法の有効性を実証します。
私たちの実験は、私たちのアプローチにより、実践者がモデリングの選択と推論の結論の間に隠された関係を効果的に明らかにできる方法を示しています。

要約(オリジナル)

Bayesian inference is a powerful framework for making probabilistic inferences and decisions under uncertainty. Fundamental choices in modern Bayesian workflows concern the specification of the likelihood function and prior distributions, the posterior approximator, and the data. Each choice can significantly influence model-based inference and subsequent decisions, thereby necessitating sensitivity analysis. In this work, we propose a multifaceted approach to integrate sensitivity analyses into amortized Bayesian inference (ABI, i.e., simulation-based inference with neural networks). First, we utilize weight sharing to encode the structural similarities between alternative likelihood and prior specifications in the training process with minimal computational overhead. Second, we leverage the rapid inference of neural networks to assess sensitivity to various data perturbations or pre-processing procedures. In contrast to most other Bayesian approaches, both steps circumvent the costly bottleneck of refitting the model(s) for each choice of likelihood, prior, or dataset. Finally, we propose to use neural network ensembles to evaluate variation in results induced by unreliable approximation on unseen data. We demonstrate the effectiveness of our method in applied modeling problems, ranging from the estimation of disease outbreak dynamics and global warming thresholds to the comparison of human decision-making models. Our experiments showcase how our approach enables practitioners to effectively unveil hidden relationships between modeling choices and inferential conclusions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google