The Effectiveness of Curvature-Based Rewiring and the Role of Hyperparameters in GNNs Revisited

要約

メッセージ パッシングは、グラフ ニューラル ネットワーク (GNN) の主要なパラダイムです。
ただし、メッセージ パッシングの効率は、グラフのトポロジによって制限される可能性があります。
これは、ボトルネックを通過するときに押しつぶされすぎて、伝播中に情報が失われるときに発生します。
これを改善するために、最近の取り組みは、データに由来する入力グラフと、メッセージパッシングが実行される計算グラフとを切り離す、グラフ再配線技術に焦点を当てている。
このための顕著なアプローチは、離散グラフの曲率測定を使用することであり、そのいくつかの変形例が提案されており、ボトルネックを特定して回避し、情報の伝播を促進します。
過剰潰しは合成データセットで実証されていますが、この研究では、曲率ベースの再配線が現実世界のデータセットにもたらすパフォーマンスの向上を再評価します。
これらのデータセットでは、再配線プロセス中に選択されたエッジがボトルネックを特定する理論的な基準と一致していないことを示します。
これは、メッセージの受け渡し中に必ずしも情報を過剰に圧縮しないことを意味します。
続いて、これらのデータセットの SOTA 精度が、一貫したパフォーマンスの向上ではなく、ハイパーパラメーター (トレーニング用のパラメーターと再配線アルゴリズムに関連する専用のパラメーターの両方) のスイープに起因する外れ値であることを示します。
結論として、私たちの分析は、実世界のデータセットにおける曲率ベースの再配線の有効性を微妙に決定し、GNN の精度向上を評価する方法に新しい視点をもたらしました。

要約(オリジナル)

Message passing is the dominant paradigm in Graph Neural Networks (GNNs). The efficiency of message passing, however, can be limited by the topology of the graph. This happens when information is lost during propagation due to being oversquashed when travelling through bottlenecks. To remedy this, recent efforts have focused on graph rewiring techniques, which disconnect the input graph originating from the data and the computational graph, on which message passing is performed. A prominent approach for this is to use discrete graph curvature measures, of which several variants have been proposed, to identify and rewire around bottlenecks, facilitating information propagation. While oversquashing has been demonstrated in synthetic datasets, in this work we reevaluate the performance gains that curvature-based rewiring brings to real-world datasets. We show that in these datasets, edges selected during the rewiring process are not in line with theoretical criteria identifying bottlenecks. This implies they do not necessarily oversquash information during message passing. Subsequently, we demonstrate that SOTA accuracies on these datasets are outliers originating from sweeps of hyperparameters — both the ones for training and dedicated ones related to the rewiring algorithm — instead of consistent performance gains. In conclusion, our analysis nuances the effectiveness of curvature-based rewiring in real-world datasets and brings a new perspective on the methods to evaluate GNN accuracy improvements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google