Pearl’s and Jeffrey’s Update as Modes of Learning in Probabilistic Programming

要約

新しい証拠に照らして確率分布を更新するという概念は、統計と機械学習の中心にあります。
Pearl ルールと Jeffrey ルールは、異なる結果をもたらす 2 つの自然な更新メカニズムですが、その類似点と相違点は依然として謎に包まれています。
この論文では、確率的プログラムとサンプリング セマンティクスの観点から 2 つの更新メカニズムを個別に説明すること、および (パールとジェフリーの) 尤度の異なる概念を通じて、それらの関係をいくつかの方法で明確にします。
さらに、ジェフリーの更新規則が変分推論によって生じることが示されています。
カテゴリ確率論の観点から言えば、これは、分布モナドのクライスリ圏に拡張された、多集合関手の動作に関する状況の分析に相当します。

要約(オリジナル)

The concept of updating a probability distribution in the light of new evidence lies at the heart of statistics and machine learning. Pearl’s and Jeffrey’s rule are two natural update mechanisms which lead to different outcomes, yet the similarities and differences remain mysterious. This paper clarifies their relationship in several ways: via separate descriptions of the two update mechanisms in terms of probabilistic programs and sampling semantics, and via different notions of likelihood (for Pearl and for Jeffrey). Moreover, it is shown that Jeffrey’s update rule arises via variational inference. In terms of categorical probability theory, this amounts to an analysis of the situation in terms of the behaviour of the multiset functor, extended to the Kleisli category of the distribution monad.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google