Beyond Bayesian Model Averaging over Paths in Probabilistic Programs with Stochastic Support

要約

確率的サポートを備えた確率的プログラムの事後分布は、考えられる各プログラム パスに関連付けられた局所事後分布の加重和として分解されます。
この完全事後予測を行うと、パス全体でベイジアン モデル平均化 (BMA) が暗黙的に実行されることを示します。
モデルの仕様の誤りや推論の近似によって BMA の重みが不安定になる可能性があり、結果的に最適ではない予測が生じる可能性があるため、これは潜在的に問題となる可能性があります。
この問題を解決するために、パス重み付けの代替メカニズムを提案します。1 つはスタッキングに基づくもの、もう 1 つは PAC-Bayes のアイデアに基づくものです。
両方を既存の推論エンジンの上に安価な後処理ステップとして実装する方法を示します。
私たちの実験では、デフォルトの BMA 重みと比較して、それらがより堅牢で、より良い予測につながることがわかりました。

要約(オリジナル)

The posterior in probabilistic programs with stochastic support decomposes as a weighted sum of the local posterior distributions associated with each possible program path. We show that making predictions with this full posterior implicitly performs a Bayesian model averaging (BMA) over paths. This is potentially problematic, as BMA weights can be unstable due to model misspecification or inference approximations, leading to sub-optimal predictions in turn. To remedy this issue, we propose alternative mechanisms for path weighting: one based on stacking and one based on ideas from PAC-Bayes. We show how both can be implemented as a cheap post-processing step on top of existing inference engines. In our experiments, we find them to be more robust and lead to better predictions compared to the default BMA weights.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google