How does over-squashing affect the power of GNNs?

要約

グラフ ニューラル ネットワーク (GNN) は、グラフ構造データの機械学習のための最先端のモデルです。
最も一般的なクラスの GNN は、隣接するノード間で情報を交換することによって動作し、メッセージ パッシング ニューラル ネットワーク (MPNN) として知られています。
MPNN が広く使用されていることを考えると、MPNN の表現力を理解することが重要な問題となります。
ただし、既存の結果では通常、有益ではないノード機能を含む設定が考慮されます。
この論文では、与えられた容量の MPNN がノード特徴のどの関数クラスを学習できるかを決定するための厳密な分析を提供します。
これは、MPNN が許可するノード間のペアごとの相互作用のレベルを測定することによって行われます。
この尺度は、大量のメッセージが固定サイズのベクトルに集約されるときに発生することが観察される、いわゆる過剰スカッシュ効果の新しい定量的特徴付けを提供します。
私たちの尺度を使用して、ノードのペア間の十分な通信を保証するには、通勤時間などの入力グラフ構造の特性に応じて、MPNN の容量が十分に大きくなければならないことを証明します。
多くの関連シナリオについて、私たちの分析では実際には不可能なステートメントが得られ、過剰な潰しが MPNN の表現力を妨げることを示しています。
私たちは、広範な管理された実験とアブレーション研究を通じて理論的発見を検証します。

要約(オリジナル)

Graph Neural Networks (GNNs) are the state-of-the-art model for machine learning on graph-structured data. The most popular class of GNNs operate by exchanging information between adjacent nodes, and are known as Message Passing Neural Networks (MPNNs). Given their widespread use, understanding the expressive power of MPNNs is a key question. However, existing results typically consider settings with uninformative node features. In this paper, we provide a rigorous analysis to determine which function classes of node features can be learned by an MPNN of a given capacity. We do so by measuring the level of pairwise interactions between nodes that MPNNs allow for. This measure provides a novel quantitative characterization of the so-called over-squashing effect, which is observed to occur when a large volume of messages is aggregated into fixed-size vectors. Using our measure, we prove that, to guarantee sufficient communication between pairs of nodes, the capacity of the MPNN must be large enough, depending on properties of the input graph structure, such as commute times. For many relevant scenarios, our analysis results in impossibility statements in practice, showing that over-squashing hinders the expressive power of MPNNs. We validate our theoretical findings through extensive controlled experiments and ablation studies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google