Reproducible Parameter Inference Using Bagged Posteriors

要約

モデルの誤仕様化の下では、ベイズの後置はしばしば、真または擬似真パラメータに関する不確実性を適切に定量化しないことが知られている。さらに基本的なこととして、ミススペクティフィケーションは、同じモデルが真の分布から独立したデータセット上で矛盾した事後分布をもたらすという意味で、再現性の欠如につながる。誤仕様化のもとで再現可能な不確実性定量化の基準を定義するために、独立したデータセットから構成される2つの信頼集合が空でない重なりを持つ確率を考え、任意の有効な信頼集合に対して成り立つこの重なり確率の下界を確立する。標準的な事後分布からの信頼度集合は、特に高次元設定（すなわち、標本サイズとともに次元が増加する）において、この下界に強く違反する可能性があることを証明し、誤仕様化の下では内部的に首尾一貫していないことを示す。つまり、ブートストラップされたデータセットを条件とした事後分布の平均を使用することである。我々は、Jeffreyの条件付けに基づく第一原理からBayesBagの動機付けを行い、バギングされた事後分布が典型的にはオーバーラップの下界を満たすことを示す。さらに、Bernstein-Von Misesの定理を証明し、その漸近正規分布を確立する。シミュレーション実験と犯罪率予測への応用により、BayesBagの利点を実証する。

要約(オリジナル)

Under model misspecification, it is known that Bayesian posteriors often do not properly quantify uncertainty about true or pseudo-true parameters. Even more fundamentally, misspecification leads to a lack of reproducibility in the sense that the same model will yield contradictory posteriors on independent data sets from the true distribution. To define a criterion for reproducible uncertainty quantification under misspecification, we consider the probability that two confidence sets constructed from independent data sets have nonempty overlap, and we establish a lower bound on this overlap probability that holds for any valid confidence sets. We prove that credible sets from the standard posterior can strongly violate this bound, particularly in high-dimensional settings (i.e., with dimension increasing with sample size), indicating that it is not internally coherent under misspecification. To improve reproducibility in an easy-to-use and widely applicable way, we propose to apply bagging to the Bayesian posterior (‘BayesBag”); that is, to use the average of posterior distributions conditioned on bootstrapped datasets. We motivate BayesBag from first principles based on Jeffrey conditionalization and show that the bagged posterior typically satisfies the overlap lower bound. Further, we prove a Bernstein–Von Mises theorem for the bagged posterior, establishing its asymptotic normal distribution. We demonstrate the benefits of BayesBag via simulation experiments and an application to crime rate prediction.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL