Exact Fractional Inference via Re-Parametrization & Interpolation between Tree-Re-Weighted- and Belief Propagation- Algorithms

要約

$N$”スピン’ のグラフに対するイジング モデルの分配関数 $Z$ を計算するために必要な推論の計算複雑さは、$N$ ではおそらく指数関数的になります。
信念伝播 (BP) アルゴリズムやツリー再重み付け (TRW) アルゴリズムなどの効率的な変分法は、それぞれ (BP または TRW) の自由エネルギーを最小化することによって $Z$ を近似的に計算します。
$\lambda$ 分数補間 $Z^{(\lambda)}$ を構築することで変分スキームを一般化します。ここで $\lambda=0$ と $\lambda=1$ は TRW 近似と BP 近似に対応します。
それぞれ。
この分数スキーム — Fractional Belief Propagation (FBP) の造語 — は、引力 (強磁性) の場合 $Z^{(TRW)} \geq Z^{(\lambda)} \geq Z^{(BP)} を保証します。
$ であり、$Z=Z^{(\lambda_*)}$ のような一意の (「正確な」) $\lambda_*$ が存在します。
\citep{wainwright_tree-based_2002} の再パラメータ化アプローチと \citep{chertkov_loop_2006} のループシリーズ アプローチを一般化して、$Z$ を積 $\forall \lambda:\ Z=Z^{ として表現する方法を示します。
(\lambda)}{\tilde Z}^{(\lambda)}$、乗法補正 ${\tilde Z}^{(\lambda)}$ は、構築されたノードに依存しない確率分布に対する期待値です。
ノードごとの分数周辺から。
私たちの理論的分析は、中規模および大規模の平面グラフおよびランダム グラフに対するイジング アンサンブルのモデルを用いた広範な実験によって補完されています。
この実証研究では、$O(N^{2::4})$ 部分サンプルを使用した ${\tilde Z}^{(\lambda)}$ の推定能力や $ の抑制など、多くの興味深い観察結果が得られました。
特定のランダムなイジングアンサンブルからのインスタンスの $N$ の増加に伴う \lambda_*$ の変動。
また、画像のノイズ除去の問題に対するこのアプローチの適用可能性についても検証し、議論します。

要約(オリジナル)

The computational complexity of inference — required to compute the partition function, $Z$, of an Ising model over a graph of $N$”spins’ — is most likely exponential in $N$. Efficient variational methods, such as Belief Propagation (BP) and Tree Re-Weighted (TRW) algorithms, compute $Z$ approximately by minimizing the respective (BP- or TRW-) free energy. We generalize the variational scheme by building a $\lambda$-fractional interpolation, $Z^{(\lambda)}$, where $\lambda=0$ and $\lambda=1$ correspond to TRW- and BP-approximations, respectively. This fractional scheme — coined Fractional Belief Propagation (FBP) — guarantees that in the attractive (ferromagnetic) case $Z^{(TRW)} \geq Z^{(\lambda)} \geq Z^{(BP)}$, and there exists a unique (“exact’) $\lambda_*$ such that $Z=Z^{(\lambda_*)}$. Generalizing the re-parametrization approach of \citep{wainwright_tree-based_2002} and the loop series approach of \citep{chertkov_loop_2006}, we show how to express $Z$ as a product, $\forall \lambda:\ Z=Z^{(\lambda)}{\tilde Z}^{(\lambda)}$, where the multiplicative correction, ${\tilde Z}^{(\lambda)}$, is an expectation over a node-independent probability distribution built from node-wise fractional marginals. Our theoretical analysis is complemented by extensive experiments with models from Ising ensembles over planar and random graphs of medium- and large-sizes. The empirical study yields a number of interesting observations, such as the ability to estimate ${\tilde Z}^{(\lambda)}$ with $O(N^{2::4})$ fractional samples and suppression of $\lambda_*$ fluctuations with an increase in $N$ for instances from a particular random Ising ensemble. We also verify and discuss the applicability of this approach to the problem of image de-noising.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google