Generalization of graph network inferences in higher-order graphical models

要約

タイトル：
高次グラフィカルモデルにおけるグラフネットワーク推論の一般化

要約：
– 可能性のあるグラフィカルモデルは、複雑な統計的構造を説明するための強力なツールを提供する。ロボットアームの制御から神経計算の理解に至るまで、科学や工学に多くの実世界の応用がある。
– これらのグラフィカルモデルにおいて、繰り返し結節グラフニューラルネットワーク（RF-GNN）を定義して、多変数相互作用が含まれるグラフィカルモデルにおける高速な近似推論を実現する。
– 一般的なグラフの場合、マージナリゼーションなどの推論は不可能であり、Belief Propagationなどの分散型メッセージパッシングアルゴリズムによって近似される。しかし、サイクルを持つグラフではうまく機能しない場合がある。また、複雑な連続確率分布に対して簡単に指定することはできない。
– RF-GNNは、いくつかのグラフィカルモデルファミリー上の実験結果により、異なるサイズのグラフに対するアウトオブディストリビューション一般化能力を示し、Belief Propagation（BP）より優れている領域があることを示している。
– さらに、低密度パリティチェックデータセットをベンチマークとして使用し、BPの変種や他のGNN方法などのベースラインモデルとともにRF-GNNをテストした。その結果、高いノイズレベル下ではRF-GNNが他の方法を上回ることがわかった。

要約(オリジナル)

Probabilistic graphical models provide a powerful tool to describe complex statistical structure, with many real-world applications in science and engineering from controlling robotic arms to understanding neuronal computations. A major challenge for these graphical models is that inferences such as marginalization are intractable for general graphs. These inferences are often approximated by a distributed message-passing algorithm such as Belief Propagation, which does not always perform well on graphs with cycles, nor can it always be easily specified for complex continuous probability distributions. Such difficulties arise frequently in expressive graphical models that include intractable higher-order interactions. In this paper we define the Recurrent Factor Graph Neural Network (RF-GNN) to achieve fast approximate inference on graphical models that involve many-variable interactions. Experimental results on several families of graphical models demonstrate the out-of-distribution generalization capability of our method to different sized graphs, and indicate the domain in which our method outperforms Belief Propagation (BP). Moreover, we test the RF-GNN on a real-world Low-Density Parity-Check dataset as a benchmark along with other baseline models including BP variants and other GNN methods. Overall we find that RF-GNNs outperform other methods under high noise levels.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI