On the Trade-off between Over-smoothing and Over-squashing in Deep Graph Neural Networks

要約

グラフ ニューラル ネットワーク (GNN) はさまざまなコンピューター サイエンス アプリケーションで成功していますが、ディープ ラーニングが他のドメインで成功しているにもかかわらず、ディープ GNN は浅い GNN よりもパフォーマンスが劣ります。
過剰な平滑化と過剰な潰しは、グラフ畳み込み層を積み重ねる際の重要な課題であり、深層表現学習や遠くのノードからの情報伝播を妨げます。
私たちの研究により、過度の平滑化と過剰な潰しはグラフ ラプラシアンのスペクトル ギャップに本質的に関連しており、これら 2 つの問題は同時に軽減することができないため、避けられないトレードオフが生じることが明らかになりました。
適切な妥協点を達成するために、実行可能なアプローチとしてエッジの追加と削除を提案します。
Stochastic Jost and Liu Curvature Rewiring (SJLR) アルゴリズムを導入します。これは、以前の曲率ベースの方法と比較して計算効率が高く、基本的な特性を保持します。
既存のアプローチとは異なり、SJLR は、テスト中にグラフを変更せずに維持しながら、GNN トレーニング中にエッジの追加と削除を実行します。
包括的な比較により、過度の平滑化と過剰な潰れへの対処における SJLR の競争力のあるパフォーマンスが実証されています。

要約(オリジナル)

Graph Neural Networks (GNNs) have succeeded in various computer science applications, yet deep GNNs underperform their shallow counterparts despite deep learning’s success in other domains. Over-smoothing and over-squashing are key challenges when stacking graph convolutional layers, hindering deep representation learning and information propagation from distant nodes. Our work reveals that over-smoothing and over-squashing are intrinsically related to the spectral gap of the graph Laplacian, resulting in an inevitable trade-off between these two issues, as they cannot be alleviated simultaneously. To achieve a suitable compromise, we propose adding and removing edges as a viable approach. We introduce the Stochastic Jost and Liu Curvature Rewiring (SJLR) algorithm, which is computationally efficient and preserves fundamental properties compared to previous curvature-based methods. Unlike existing approaches, SJLR performs edge addition and removal during GNN training while maintaining the graph unchanged during testing. Comprehensive comparisons demonstrate SJLR’s competitive performance in addressing over-smoothing and over-squashing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google