Exact Fractional Inference via Re-Parametrization & Interpolation between Tree-Re-Weighted- and Belief Propagation- Algorithms

要約

$N$ の「スピン」のグラフに対するイジング モデルの分配関数 $Z$ を計算するために必要な推論の労力は、おそらく $N$ で指数関数的になります。
信念伝播 (BP) アルゴリズムやツリー再重み付け (TRW) アルゴリズムなどの効率的な変分法は、それぞれ (BP または TRW) の自由エネルギーをほぼ最小化する $Z$ を計算します。
$\lambda$-分数ホモトピー $Z^{(\lambda)}$ を構築する変分スキームを一般化します。ここで、$\lambda=0$ と $\lambda=1$ は TRW 近似と BP 近似に対応します。
$Z^{(\lambda)}$ は $\lambda$ とともに単調減少します。
さらに、この分数スキームは、引力 (強磁性) の場合 $Z^{(TRW)}\geq Z^{(\lambda)}\geq Z^{(BP)}$ が存在することを保証し、一意の (`
`正確’) $\lambda_*$ は、$Z=Z^{(\lambda_*)}$ となります。
\citep{wainwright_tree-based_2002} の再パラメータ化アプローチと \citep{chertkov_loop_2006} のループシリーズ アプローチを一般化して、$Z$ を積 $\forall \lambda:\ Z=Z^{ として表現する方法を示します。
(\lambda)}{\cal Z}^{(\lambda)}$、乗法補正 ${\cal Z}^{(\lambda)}$ は、構築されたノードに依存しない確率分布に対する期待値です。
ノードごとの分数周辺から。
私たちの理論的分析は、中規模および大規模の平面グラフおよびランダム グラフに対するイジング アンサンブルのモデルを使用した広範な実験によって補完されています。
この実証研究により、(a) $O(N^4)$ 部分サンプルを使用して ${\cal Z}^{(\lambda)}$ を推定できる能力など、多くの興味深い観察結果が得られました。
(b) 特定のランダムイジングアンサンブルからのインスタンスの $N$ の増加に伴う $\lambda_*$ 変動の抑制。

要約(オリジナル)

Inference efforts — required to compute partition function, $Z$, of an Ising model over a graph of $N$ “spins’ — are most likely exponential in $N$. Efficient variational methods, such as Belief Propagation (BP) and Tree Re-Weighted (TRW) algorithms, compute $Z$ approximately minimizing respective (BP- or TRW-) free energy. We generalize the variational scheme building a $\lambda$-fractional-homotopy, $Z^{(\lambda)}$, where $\lambda=0$ and $\lambda=1$ correspond to TRW- and BP-approximations, respectively, and $Z^{(\lambda)}$ decreases with $\lambda$ monotonically. Moreover, this fractional scheme guarantees that in the attractive (ferromagnetic) case $Z^{(TRW)}\geq Z^{(\lambda)}\geq Z^{(BP)}$, and there exists a unique (“exact’) $\lambda_*$ such that, $Z=Z^{(\lambda_*)}$. Generalizing the re-parametrization approach of \citep{wainwright_tree-based_2002} and the loop series approach of \citep{chertkov_loop_2006}, we show how to express $Z$ as a product, $\forall \lambda:\ Z=Z^{(\lambda)}{\cal Z}^{(\lambda)}$, where the multiplicative correction, ${\cal Z}^{(\lambda)}$, is an expectation over a node-independent probability distribution built from node-wise fractional marginals. Our theoretical analysis is complemented by extensive experiments with models from Ising ensembles over planar and random graphs of medium- and large- sizes. The empirical study yields a number of interesting observations, such as (a) ability to estimate ${\cal Z}^{(\lambda)}$ with $O(N^4)$ fractional samples; (b) suppression of $\lambda_*$ fluctuations with increase in $N$ for instances from a particular random Ising ensemble.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google