Exact Bayesian Inference on Discrete Models via Probability Generating Functions: A Probabilistic Programming Approach

要約

我々は、離散統計モデルのための正確なベイズ推論法を提案します。これは、無限のサポートと連続事前分布があっても、多くの離散推論問題に対する正確な解を見つけることができます。
このようなモデルを表現するために、離散および連続サンプリング、離散観測、アフィン関数、(確率的) 分岐、およびイベントの条件付けをサポートする確率的プログラミング言語を導入します。
私たちの重要なツールは確率生成関数です。関数は、プログラムによって定義可能な分布のコンパクトな閉じた形式の表現を提供するため、事後確率、期待値、分散、および高次モーメントの正確な計算を可能にします。
私たちの推論方法は正確であることが証明されており、完全に自動化されており、自動微分 (特にテイラー多項式) を使用していますが、コンピューター代数は必要ありません。
私たちの実験では、さまざまな実世界の例でそのパフォーマンスが近似モンテカルロ法と競合し、近似誤差を回避できることがわかりました。

要約(オリジナル)

We present an exact Bayesian inference method for discrete statistical models, which can find exact solutions to many discrete inference problems, even with infinite support and continuous priors. To express such models, we introduce a probabilistic programming language that supports discrete and continuous sampling, discrete observations, affine functions, (stochastic) branching, and conditioning on events. Our key tool is probability generating functions: they provide a compact closed-form representation of distributions that are definable by programs, thus enabling the exact computation of posterior probabilities, expectation, variance, and higher moments. Our inference method is provably correct, fully automated and uses automatic differentiation (specifically, Taylor polynomials), but does not require computer algebra. Our experiments show that its performance on a range of real-world examples is competitive with approximate Monte Carlo methods, while avoiding approximation errors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google