Bayesian Structure Scores for Probabilistic Circuits

要約

確率回路 (PC) は、扱いやすい推論による確率分布の顕著な表現です。
PC でのパラメーター学習は厳密に研究されていますが、構造学習は原則的な目的よりもヒューリスティックに基づいていることがよくあります。
この論文では、決定論的PCのベイジアン構造スコア、つまり、確率的グラフィカルモデルでの構造学習の厳密な目的としてよく知られている、周辺化されたパラメーターを使用した構造尤度を開発します。
貪欲なカットセット アルゴリズム内で使用すると、スコアは効果的に過剰適合から保護し、高速でほとんどハイパーパラメーターのない構造学習器を生成し、以前のアプローチとは異なります。
実験では、対数尤度の観点から、トレーニング時間とモデル適合の間の適切なトレードオフを実現しています。
さらに、ベイジアン スコアの原則的な性質により、構造的な期待値の最大化などのフレームワークに対応するための PC のロックが解除されます。

要約(オリジナル)

Probabilistic circuits (PCs) are a prominent representation of probability distributions with tractable inference. While parameter learning in PCs is rigorously studied, structure learning is often more based on heuristics than on principled objectives. In this paper, we develop Bayesian structure scores for deterministic PCs, i.e., the structure likelihood with parameters marginalized out, which are well known as rigorous objectives for structure learning in probabilistic graphical models. When used within a greedy cutset algorithm, our scores effectively protect against overfitting and yield a fast and almost hyper-parameter-free structure learner, distinguishing it from previous approaches. In experiments, we achieve good trade-offs between training time and model fit in terms of log-likelihood. Moreover, the principled nature of Bayesian scores unlocks PCs for accommodating frameworks such as structural expectation-maximization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google