What Do GNNs Actually Learn? Towards Understanding their Representations

要約

近年、グラフ ニューラル ネットワーク (GNN) は、グラフ表現学習の分野で大きな成功を収めています。
これまでの研究により、これらのモデルの表現力 (つまり、非同型グラフのペアを区別できるかどうか) が明らかになりましたが、これらのモデルによって学習されるノード表現にどのような構造情報がエンコードされているかはまだ明らかではありません。
この論文では、4 つの標準 GNN モデルによって学習されたノード表現を研究することで、このギャップに対処します。
一部のモデルはすべてのノードに対して同一の表現を生成しますが、他のモデルによって学習された表現は、ノードから始まる特定の長さの歩行の概念にリンクされていることがわかりました。
(正規化された) 歩行の数に関して、これらのモデルのリプシッツ境界を確立します。
さらに、学習された表現に対するノードの特徴の影響を調査します。
すべてのノードの初期表現が同じ方向を向いている場合、モデルの $k$ 番目の層で学習された表現も、正確に $k$ ステップで到達できるノードの初期特徴に関連していることがわかります。
また、この結果を応用して、GNN で発生するオーバースカッシュ現象を理解します。
私たちの理論分析は、合成データセットと現実世界のデータセットでの実験を通じて検証されます。

要約(オリジナル)

In recent years, graph neural networks (GNNs) have achieved great success in the field of graph representation learning. Although prior work has shed light on the expressiveness of those models (\ie whether they can distinguish pairs of non-isomorphic graphs), it is still not clear what structural information is encoded into the node representations that are learned by those models. In this paper, we address this gap by studying the node representations learned by four standard GNN models. We find that some models produce identical representations for all nodes, while the representations learned by other models are linked to some notion of walks of specific length that start from the nodes. We establish Lipschitz bounds for these models with respect to the number of (normalized) walks. Additionally, we investigate the influence of node features on the learned representations. We find that if the initial representations of all nodes point in the same direction, the representations learned at the $k$-th layer of the models are also related to the initial features of nodes that can be reached in exactly $k$ steps. We also apply our findings to understand the phenomenon of oversquashing that occurs in GNNs. Our theoretical analysis is validated through experiments on synthetic and real-world datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google