Local Max-Entropy and Free Energy Principles, Belief Diffusions and their Singularities

要約

ハイパーグラフ上の信念伝播 (BP) アルゴリズムとの関係を含む 3 つの Bethe-Kikuchi 変分原理の包括的な図を示します。
BP 方程式の構造は連続時間拡散を定義するために一般化され、最大エントロピー原理 (A)、変分自由エネルギー原理 (B)、およびあまり一般的ではない平衡自由エネルギー原理 (C) の局所バージョンを解決します。ルジャンドル双対
ベーテ・キクチ汎関数と定常信念の両方の臨界点は、2 つの拘束曲面の非線形交点に位置し、それぞれエネルギー保存と限界一貫性を強化することが示されています。
特異信念の超曲面は、制約面が接線方向に交わると平衡が不安定になり、一貫した信念の凸多面体における多項式によって記述されます。
この多項式は、バイナリ変数のグラフのループ級数展開によって表現されます。

要約(オリジナル)

A comprehensive picture of three Bethe-Kikuchi variational principles including their relationship to belief propagation (BP) algorithms on hypergraphs is given. The structure of BP equations is generalized to define continuous-time diffusions, solving localized versions of the max-entropy principle (A), the variational free energy principle (B), and a less usual equilibrium free energy principle (C), Legendre dual to A. Both critical points of Bethe-Kikuchi functionals and stationary beliefs are shown to lie at the non-linear intersection of two constraint surfaces, enforcing energy conservation and marginal consistency respectively. The hypersurface of singular beliefs, accross which equilibria become unstable as the constraint surfaces meet tangentially, is described by polynomial equations in the convex polytope of consistent beliefs. This polynomial is expressed by a loop series expansion for graphs of binary variables.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google