Simulator-Based Inference with Waldo: Confidence Regions by Leveraging Prediction Algorithms and Posterior Estimators for Inverse Problems

要約

ディープ ニューラル ネットワーク (DNN) などの予測アルゴリズムは、特に観測値に画像や複雑な高次元データが含まれる設定において、シミュレーター ベースのモデルで関心のある内部パラメーターを直接推定するために、多くの領域科学で使用されています。
並行して、フローの正規化などの最新のニューラル密度推定器は、特にパラメータと観測値の両方が高次元である場合に、不確実性の定量化にますます一般的になってきています。
ただし、パラメーターの推論は逆問題であり、予測タスクではありません。
したがって、未解決の課題は、（未知の）パラメータ値がどのようなものであっても、大規模サンプル理論に依存せずに、データ生成プロセスの真のパラメータをカバーする保証された確率で、条件付きで有効で正確な信頼領域を構築することです。
。
実際、多くのシミュレータベース推論 (SBI) 手法は、偏ったパラメータ領域や過度に自信のあるパラメータ領域を生成し、誤解を招く不確実性推定値を生成することが知られています。
この論文では、現在 SBI で広く採用されている予測アルゴリズムまたは事後推定量を活用して、有限サンプルの条件付き妥当性を持つ信頼領域を構築する新しい方法である WALDO を紹介します。
WALDO は、よく知られている Wald 検定統計量を再構築し、仮説検定の古典的なネイマン逆変換に計算効率の高い回帰ベースの機械を使用します。
私たちは、DNN による予測が以前は予測バイアスのある推定につながっていた、最近の高エネルギー物理学問題に私たちの方法を適用します。
また、正規化フローで計算された過度に自信のある後方領域を、私たちのアプローチがどのように修正できるかについても説明します。

要約(オリジナル)

Prediction algorithms, such as deep neural networks (DNNs), are used in many domain sciences to directly estimate internal parameters of interest in simulator-based models, especially in settings where the observations include images or complex high-dimensional data. In parallel, modern neural density estimators, such as normalizing flows, are becoming increasingly popular for uncertainty quantification, especially when both parameters and observations are high-dimensional. However, parameter inference is an inverse problem and not a prediction task; thus, an open challenge is to construct conditionally valid and precise confidence regions, with a guaranteed probability of covering the true parameters of the data-generating process, no matter what the (unknown) parameter values are, and without relying on large-sample theory. Many simulator-based inference (SBI) methods are indeed known to produce biased or overly confident parameter regions, yielding misleading uncertainty estimates. This paper presents WALDO, a novel method to construct confidence regions with finite-sample conditional validity by leveraging prediction algorithms or posterior estimators that are currently widely adopted in SBI. WALDO reframes the well-known Wald test statistic, and uses a computationally efficient regression-based machinery for classical Neyman inversion of hypothesis tests. We apply our method to a recent high-energy physics problem, where prediction with DNNs has previously led to estimates with prediction bias. We also illustrate how our approach can correct overly confident posterior regions computed with normalizing flows.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google