ACMP: Allen-Cahn Message Passing for Graph Neural Networks with Particle Phase Transition

要約

タイトル：ACMP：粒子相転移を持つグラフニューラルネットワークのためのアレンカーンメッセージパッシング

要約：
– グラフ構造を持つデータを扱うためのニューラルメッセージパッシングは、次のレイヤーに向けて隣接ノードの特徴を考慮する基本的な特徴抽出ユニットです。
– 我々は、相互作用する粒子系によるアプローチを用いて、この過程をモデル化しました。この中で、引力と斥力があり、相転移のモデリングに現れるアレンカーン力があります。
– 系のダイナミクスは、粒子を吹き飛ばすことなく分離させることができる反応拡散過程です。これにより、数値的反復のパーティクルシステムの解がメッセージパッシング伝搬を構成します。
– ACMPは、ニューラルODEソルバーを使用したシンプルな実装を持ち、Dirichletエネルギーの理論上の下限値が厳密に証明されているため、ネットワークの深度を100層にまで増やすことができます。
– GNNs with ACMP は、過剰スムージングの一般的なGNNの問題を回避する、GNNの深いモデルを提供します。ACMPを持つGNNは、ホモフィリックおよびヘテロフィリックの両方のデータセットに対して、リアルワールドのノード分類タスクで最先端の性能を発揮します。

要約(オリジナル)

Neural message passing is a basic feature extraction unit for graph-structured data considering neighboring node features in network propagation from one layer to the next. We model such process by an interacting particle system with attractive and repulsive forces and the Allen-Cahn force arising in the modeling of phase transition. The dynamics of the system is a reaction-diffusion process which can separate particles without blowing up. This induces an Allen-Cahn message passing (ACMP) for graph neural networks where the numerical iteration for the particle system solution constitutes the message passing propagation. ACMP which has a simple implementation with a neural ODE solver can propel the network depth up to one hundred of layers with theoretically proven strictly positive lower bound of the Dirichlet energy. It thus provides a deep model of GNNs circumventing the common GNN problem of oversmoothing. GNNs with ACMP achieve state of the art performance for real-world node classification tasks on both homophilic and heterophilic datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI