What Do GNNs Actually Learn? Towards Understanding their Representations

要約

タイトル：GNNは実際に何を学ぶのか？　その表現を理解するために
要約：
– GNN（graph neural network）は最近のグラフ表現学習の分野で大きな成功を収めており、それらのモデルの表現性について先行研究からは光が当たっています（つまり、非同型グラフのペアを区別できるかどうかがわかっています）。
– しかし、これらのモデルで学習されたノード表現には、どのような構造情報が符号化されているのかはまだはっきりとしていません。
– この論文では、ノード属性がない場合に、これらのモデルが純粋にキャプチャするグラフの特性を調べます。
– 具体的には、4つの人気のあるGNNモデルを研究し、2つのモデルはすべてのノードを同じ特徴ベクトルに埋め込み、他の2つのモデルは、入力グラフ上のウォーク数に関連する表現を生成することを示します。
– 驚くべきことに、k>1のあるレイヤーで、長さkの同じウォーク数を持つ場合、構造的に異なるノードが同じ表現を持つことがあります。
– 我々は、実際のデータセットで理論的な知見を実証しました。

要約(オリジナル)

In recent years, graph neural networks (GNNs) have achieved great success in the field of graph representation learning. Although prior work has shed light into the expressiveness of those models (\ie whether they can distinguish pairs of non-isomorphic graphs), it is still not clear what structural information is encoded into the node representations that are learned by those models. In this paper, we investigate which properties of graphs are captured purely by these models, when no node attributes are available. Specifically, we study four popular GNN models, and we show that two of them embed all nodes into the same feature vector, while the other two models generate representations that are related to the number of walks over the input graph. Strikingly, structurally dissimilar nodes can have similar representations at some layer $k>1$, if they have the same number of walks of length $k$. We empirically verify our theoretical findings on real datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI