Soft Learning Probabilistic Circuits

要約

確率回路 (PC) は、優れた扱いやすい確率モデルであり、さまざまな正確な推論を可能にします。
このペーパーでは、PC をトレーニングするための主要なアルゴリズムである LearnSPN に焦点を当てます。LearnSPN は、特に表形式のデータにおいて、その効率性、パフォーマンス、使いやすさによりゴールド スタンダードとなっています。
穏やかな仮定の下で、LearnSPN が貪欲な尤度最大化装置であることを示します。
PC での推論はクエリの処理に回路構造全体を使用する場合がありますが、LearnSPN はクエリの学習にハードな方法を適用し、ハード クラスタリング プロセスと同様に、各サム ノードで 1 つの子/エッジのみを介してデータ ポイントを伝播します。
我々は、ソフトクラスタリングプロセスを使用して PC を誘導する、SoftLearn と呼ばれる新しい学習手順を提案します。
私たちは、PC におけるこの学習と推論の互換性の影響を調査します。
私たちの実験では、SoftLearn が多くの状況で LearnSPN よりも優れたパフォーマンスを示し、より高い可能性とおそらくより優れたサンプルを生成できることがわかりました。
また、ソフト/ハード学習とモデルクエリの違いを強調するために、比較可能な扱いやすいモデルを分析します。

要約(オリジナル)

Probabilistic Circuits (PCs) are prominent tractable probabilistic models, allowing for a range of exact inferences. This paper focuses on the main algorithm for training PCs, LearnSPN, a gold standard due to its efficiency, performance, and ease of use, in particular for tabular data. We show that LearnSPN is a greedy likelihood maximizer under mild assumptions. While inferences in PCs may use the entire circuit structure for processing queries, LearnSPN applies a hard method for learning them, propagating at each sum node a data point through one and only one of the children/edges as in a hard clustering process. We propose a new learning procedure named SoftLearn, that induces a PC using a soft clustering process. We investigate the effect of this learning-inference compatibility in PCs. Our experiments show that SoftLearn outperforms LearnSPN in many situations, yielding better likelihoods and arguably better samples. We also analyze comparable tractable models to highlight the differences between soft/hard learning and model querying.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google