From Coupled Oscillators to Graph Neural Networks: Reducing Over-smoothing via a Kuramoto Model-based Approach

要約

我々は、連続深さグラフニューラルネットワーク（GNN）の新しいクラスであるKuramoto Graph Neural Network（KuramotoGNN）を提案する。KuramotoGNNは、GNNのノード特徴が層数の増加とともに区別できなくなる過平滑化現象を緩和するためにKuramotoモデルを用いる。倉本モデルは非線形結合振動子の同期挙動を捉える。結合振動子の観点から、まず倉本モデルと基本GNNの関連を示し、GNNにおける過平滑化現象は倉本モデルにおける位相同期と解釈できる。KuramotoGNNはこの位相同期を周波数同期に置き換え、ノードの特徴が互いに収束するのを防ぐと同時に、システムが安定な同期状態に到達することを可能にする。様々なグラフ深層学習ベンチマークタスクにおいて、KuramotoGNNがベースラインGNNや既存の手法よりも、過剰平滑化を低減できる利点を実験的に検証する。

要約(オリジナル)

We propose the Kuramoto Graph Neural Network (KuramotoGNN), a novel class of continuous-depth graph neural networks (GNNs) that employs the Kuramoto model to mitigate the over-smoothing phenomenon, in which node features in GNNs become indistinguishable as the number of layers increases. The Kuramoto model captures the synchronization behavior of non-linear coupled oscillators. Under the view of coupled oscillators, we first show the connection between Kuramoto model and basic GNN and then over-smoothing phenomenon in GNNs can be interpreted as phase synchronization in Kuramoto model. The KuramotoGNN replaces this phase synchronization with frequency synchronization to prevent the node features from converging into each other while allowing the system to reach a stable synchronized state. We experimentally verify the advantages of the KuramotoGNN over the baseline GNNs and existing methods in reducing over-smoothing on various graph deep learning benchmark tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL