Subtractive Mixture Models via Squaring: Representation and Learning

要約

混合モデルは伝統的に、いくつかの分布をコンポーネントとして追加することによって表現および学習されます。
混合物から確率質量または密度を減算できるようにすると、複雑な分布をモデル化するために必要なコンポーネントの数を大幅に減らすことができます。
ただし、非負関数を確実にエンコードしながら、このような減算混合を学習することは困難です。
私たちは、ディープサブトラクティブ混合物を二乗することによって学習し、推論を実行する方法を研究します。
これを確率回路のフレームワークで行います。これにより、テンソル化された混合を表現し、他のいくつかの減法モデルを一般化することができます。
私たちは、減算を可能にする二乗回路のクラスが、従来の加法混合よりも指数関数的に表現力が高いことを理論的に証明します。
そして、一連の実世界の分布推定タスクでこの表現力の向上を実験的に示します。

要約(オリジナル)

Mixture models are traditionally represented and learned by adding several distributions as components. Allowing mixtures to subtract probability mass or density can drastically reduce the number of components needed to model complex distributions. However, learning such subtractive mixtures while ensuring they still encode a non-negative function is challenging. We investigate how to learn and perform inference on deep subtractive mixtures by squaring them. We do this in the framework of probabilistic circuits, which enable us to represent tensorized mixtures and generalize several other subtractive models. We theoretically prove that the class of squared circuits allowing subtractions can be exponentially more expressive than traditional additive mixtures; and, we empirically show this increased expressiveness on a series of real-world distribution estimation tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google