Rethinking Probabilistic Circuit Parameter Learning

要約

確率的回路（PC）は、生成モデリングのための計算的にスケーラブルなフレームワークを提供し、幅広い確率的クエリの正確かつ効率的な推論をサポートします。
最近の進歩により、PCの表現力とスケーラビリティが大幅に向上しましたが、パラメーターを効果的にトレーニングすることは依然として課題です。
特に、広く使用されている最適化方法であるフルバッチの予想最大化（EM）では、単一の更新を実行する前にデータセット全体を処理する必要があり、大規模なデータセットには効果がありません。
ミニバッチ設定への経験的拡張は提案されていますが、これらのアルゴリズムがどの目的で最適化しているのかは不明のままであり、理論的な健全性を評価することは困難です。
このペーパーは、一般的なEM目的と標準のフルバッチEMアルゴリズムとの間に新しいつながりを確立することにより、ギャップを橋渡しします。
これに基づいて、理論的に根拠のある一般化をミニバッチ設定に導き出し、予備的な経験的結果を通じてその有効性を実証します。

要約(オリジナル)

Probabilistic Circuits (PCs) offer a computationally scalable framework for generative modeling, supporting exact and efficient inference of a wide range of probabilistic queries. While recent advances have significantly improved the expressiveness and scalability of PCs, effectively training their parameters remains a challenge. In particular, a widely used optimization method, full-batch Expectation-Maximization (EM), requires processing the entire dataset before performing a single update, making it ineffective for large datasets. While empirical extensions to the mini-batch setting have been proposed, it remains unclear what objective these algorithms are optimizing, making it difficult to assess their theoretical soundness. This paper bridges the gap by establishing a novel connection between the general EM objective and the standard full-batch EM algorithm. Building on this, we derive a theoretically grounded generalization to the mini-batch setting and demonstrate its effectiveness through preliminary empirical results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google