Continuous Mixtures of Tractable Probabilistic Models

要約

変分オートエンコーダーなどの連続潜在空間に基づく確率モデルは、コンポーネントが潜在コードに連続的に依存する不可算混合モデルとして理解できます。
それらは、生成的および確率的モデリングのための表現力のあるツールであることが証明されていますが、扱いやすい確率的推論、つまり、表現された確率分布の周辺および条件の計算とは相容れません。
一方、確率回路 (PC) などの扱いやすい確率モデルは、階層型離散混合モデルとして理解できるため、正確な推論を効率的に実行できますが、連続潜在空間モデルと比較して劣るパフォーマンスを示すことがよくあります。
この論文では、ハイブリッドアプローチ、つまり小さな潜在次元を持つ扱いやすいモデルの連続混合を調査します。
これらのモデルは解析的に扱いにくいものですが、積分点の有限集合に基づく数値積分スキームには適しています。
十分な数の積分点を使用すると、近似は事実上正確になります。
さらに、積分点の有限セットの場合、積分法は連続混合物を標準 PC に効果的にコンパイルします。
実験では、この方法で学習した PC が多くの標準的な密度推定ベンチマークで扱いやすいモデルの新しい最先端技術を設定したため、この単純なスキームが非常に効果的であることが証明されました。

要約(オリジナル)

Probabilistic models based on continuous latent spaces, such as variational autoencoders, can be understood as uncountable mixture models where components depend continuously on the latent code. They have proven to be expressive tools for generative and probabilistic modelling, but are at odds with tractable probabilistic inference, that is, computing marginals and conditionals of the represented probability distribution. Meanwhile, tractable probabilistic models such as probabilistic circuits (PCs) can be understood as hierarchical discrete mixture models, and thus are capable of performing exact inference efficiently but often show subpar performance in comparison to continuous latent-space models. In this paper, we investigate a hybrid approach, namely continuous mixtures of tractable models with a small latent dimension. While these models are analytically intractable, they are well amenable to numerical integration schemes based on a finite set of integration points. With a large enough number of integration points the approximation becomes de-facto exact. Moreover, for a finite set of integration points, the integration method effectively compiles the continuous mixture into a standard PC. In experiments, we show that this simple scheme proves remarkably effective, as PCs learnt this way set new state of the art for tractable models on many standard density estimation benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google