Graph Elimination Networks

要約

グラフ ニューラル ネットワーク (GNN) はさまざまなドメインに広く適用されていますが、深い層ではパフォーマンスが低下します。
既存の研究では通常、この問題はノードの過度の平滑化が原因であると考えられており、複数ラウンドの伝播後にノード表現が区別できなくなります。
この論文では、GNN の近傍伝播メカニズムを詳しく調べ、深層での GNN のパフォーマンス低下の本当の根本原因が非効率な近傍特徴伝播にあることを発見しました。
この伝播により、伝播ステップごとにノードの現在の表現が指数関数的に増加するため、長距離のノード間の貴重な依存関係を取得することが非常に困難になります。
この問題に対処するために、特定のアルゴリズムを採用して近傍伝播中の冗長性を排除するグラフエリミネーションネットワーク (GEN) を導入します。
我々は、GEN が遠くの近傍に対するノードの認識を強化し、ネットワーク伝播の深さを拡張できることを実証します。
広範な実験により、GEN はさまざまなグラフ レベルおよびノー​​ド レベルのデータセットで最先端の手法よりも優れたパフォーマンスを発揮することが示されています。

要約(オリジナル)

Graph Neural Networks (GNNs) are widely applied across various domains, yet they perform poorly in deep layers. Existing research typically attributes this problem to node over-smoothing, where node representations become indistinguishable after multiple rounds of propagation. In this paper, we delve into the neighborhood propagation mechanism of GNNs and discover that the real root cause of GNNs’ performance degradation in deep layers lies in ineffective neighborhood feature propagation. This propagation leads to an exponential growth of a node’s current representation at every propagation step, making it extremely challenging to capture valuable dependencies between long-distance nodes. To address this issue, we introduce Graph Elimination Networks (GENs), which employ a specific algorithm to eliminate redundancies during neighborhood propagation. We demonstrate that GENs can enhance nodes’ perception of distant neighborhoods and extend the depth of network propagation. Extensive experiments show that GENs outperform the state-of-the-art methods on various graph-level and node-level datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google