Sum of Squares Circuits

要約

正確かつ効率的な推論をサポートする表現力豊かな生成モデルを設計することは、確率的 ML における中心的な問題です。
確率回路 (PC) は、この扱いやすさと表現力のトレードオフを理論的に分析できるフレームワークを提供します。
最近、負のパラメータを介して減法混合をエンコードする二乗 PC が、単調 PC、つまり正のパラメータのみを持つ PC よりも指数関数的に表現力が高い扱いやすいモデルとして登場しました。
この論文では、これらのモデル間の表現力の関係について、より正確な理論的特徴付けを提供します。
まず、正方形の PC は単調な PC よりも表現力が劣る可能性があることを証明します。
第 2 に、二乗 PC と単調 PC の両方よりも指数関数的に表現力を高めることができる新しいクラスの PC、つまり二乗和 PC を形式化します。
二乗和 PC を中心に、ボーン マシンや PSD モデルなどのさまざまな扱いやすいモデル クラスや、複雑なパラメーターを使用することで最近導入されたその他の扱いやすい確率モデルを正確に統合および分離できる表現力の階層を構築します。
最後に、分布推定を実行する際の二乗和回路の有効性を経験的に示します。

要約(オリジナル)

Designing expressive generative models that support exact and efficient inference is a core question in probabilistic ML. Probabilistic circuits (PCs) offer a framework where this tractability-vs-expressiveness trade-off can be analyzed theoretically. Recently, squared PCs encoding subtractive mixtures via negative parameters have emerged as tractable models that can be exponentially more expressive than monotonic PCs, i.e., PCs with positive parameters only. In this paper, we provide a more precise theoretical characterization of the expressiveness relationships among these models. First, we prove that squared PCs can be less expressive than monotonic ones. Second, we formalize a novel class of PCs — sum of squares PCs — that can be exponentially more expressive than both squared and monotonic PCs. Around sum of squares PCs, we build an expressiveness hierarchy that allows us to precisely unify and separate different tractable model classes such as Born Machines and PSD models, and other recently introduced tractable probabilistic models by using complex parameters. Finally, we empirically show the effectiveness of sum of squares circuits in performing distribution estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google