A Generalized Neural Diffusion Framework on Graphs

要約

最近の研究では、GNN と拡散プロセスとの関係が明らかになり、多くの拡散ベースの GNN が提案されるきっかけとなっています。
ただし、これら 2 つのメカニズムは密接に関連しているため、当然、次の 1 つの基本的な疑問が生じます。これらの GNN を正式に統合できる一般的な拡散フレームワークは存在するのでしょうか?
この質問に対する答えは、GNN の学習プロセスについての理解を深めるだけでなく、広範な新しいクラスの GNN を設計するための新しい扉を開く可能性があります。
この論文では、より多くの GNN による拡散プロセス間の関係を正式に確立する、忠実度項を備えた一般的な拡散方程式フレームワークを提案します。
一方、このフレームワークを使用すると、グラフ拡散ネットワークの 1 つの特性、つまり、現在のニューラル拡散プロセスは 1 次の拡散方程式にのみ対応することがわかります。
しかし、実験的研究により、高次近傍のラベルは実際には単親性を示し、一次近傍間の類似性を必要とせず、高次近傍間のラベルに基づいて類似性を誘導することが示されました。
この発見は、新しい高次の近隣を意識した拡散方程式を設計し、そのフレームワークに基づいて新しいタイプのグラフ拡散ネットワーク (HiD-Net) を導出する動機となります。
高次の拡散方程式を使用することで、HiD-Net は攻撃に対してより堅牢になり、同性愛グラフと異性愛性グラフの両方で動作します。
HiD-Netと高次ランダムウォークの関係を理論的に解析するだけでなく、理論的な収束保証も提供します。
広範な実験結果により、最先端のグラフ拡散ネットワークに対する HiD-Net の有効性が実証されています。

要約(オリジナル)

Recent studies reveal the connection between GNNs and the diffusion process, which motivates many diffusion-based GNNs to be proposed. However, since these two mechanisms are closely related, one fundamental question naturally arises: Is there a general diffusion framework that can formally unify these GNNs? The answer to this question can not only deepen our understanding of the learning process of GNNs, but also may open a new door to design a broad new class of GNNs. In this paper, we propose a general diffusion equation framework with the fidelity term, which formally establishes the relationship between the diffusion process with more GNNs. Meanwhile, with this framework, we identify one characteristic of graph diffusion networks, i.e., the current neural diffusion process only corresponds to the first-order diffusion equation. However, by an experimental investigation, we show that the labels of high-order neighbors actually exhibit monophily property, which induces the similarity based on labels among high-order neighbors without requiring the similarity among first-order neighbors. This discovery motives to design a new high-order neighbor-aware diffusion equation, and derive a new type of graph diffusion network (HiD-Net) based on the framework. With the high-order diffusion equation, HiD-Net is more robust against attacks and works on both homophily and heterophily graphs. We not only theoretically analyze the relation between HiD-Net with high-order random walk, but also provide a theoretical convergence guarantee. Extensive experimental results well demonstrate the effectiveness of HiD-Net over state-of-the-art graph diffusion networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google