Scaling Continuous Latent Variable Models as Probabilistic Integral Circuits

要約

確率的積分回路 (PIC) は、表現力豊かな生成モデルの背後にある重要な要素である連続潜在変数 (LV) を利用する確率的モデルとして最近導入されました。
PIC は、合計および乗算される関数の階層として連続 LV モデルを定義する、またはいくつかの LV にわたって統合されるシンボリック計算グラフです。
LV を解析的に積分できれば扱いやすく、そうでない場合は、QPC と呼ばれる階層的な数値求積プロセスをエンコードした扱いやすい確率回路 (PC) によって近似できます。
これまでのところ、ツリー形状の PIC のみが検討されており、数値求積法を介して PIC をトレーニングするには、メモリを大量に消費する大規模な処理が必要です。
この論文では、これらの問題に取り組み、(i) 任意の変数分解から DAG 形状の PIC を構築するためのパイプライン、(ii) テンソル化された回路アーキテクチャを使用して PIC をトレーニングする手順、および (iii) ニューラル機能共有技術を提示します。
スケーラブルなトレーニングを可能にします。
広範な実験により、機能共有の有効性と、従来の PC に対する QPC の優位性を実証しました。

要約(オリジナル)

Probabilistic integral circuits (PICs) have been recently introduced as probabilistic models enjoying the key ingredient behind expressive generative models: continuous latent variables (LVs). PICs are symbolic computational graphs defining continuous LV models as hierarchies of functions that are summed and multiplied together, or integrated over some LVs. They are tractable if LVs can be analytically integrated out, otherwise they can be approximated by tractable probabilistic circuits (PC) encoding a hierarchical numerical quadrature process, called QPCs. So far, only tree-shaped PICs have been explored, and training them via numerical quadrature requires memory-intensive processing at scale. In this paper, we address these issues, and present: (i) a pipeline for building DAG-shaped PICs out of arbitrary variable decompositions, (ii) a procedure for training PICs using tensorized circuit architectures, and (iii) neural functional sharing techniques to allow scalable training. In extensive experiments, we showcase the effectiveness of functional sharing and the superiority of QPCs over traditional PCs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google