Improving the Expressiveness of $K$-hop Message-Passing GNNs by Injecting Contextualized Substructure Information

要約

グラフ ニューラル ネットワーク (GNN) は、グラフにおける表現学習の \textit{事実上の}標準となり、多くのグラフ関連タスクで最先端のパフォーマンスを達成しました。
ただし、標準 GNN の表現力は 1 次元ヴァイスファイラー レーマン (1-WL) 検定と最大限同等であることが示されています。
最近では、グラフニューラルネットワークの表現力の向上を目指した取り組みが行われている。
このような研究の 1 つのラインは、直接の隣接ノードだけでなく、ノードの $K$ ホップ内のすべての隣接ノードからの情報を集約することによってノード表現が更新される、$K$ ホップのメッセージ パッシング GNN の開発を目的としています。
別の一連の作業では、サブグラフ情報を利用して表現力を強化します。これは厳密には 1-WL テストよりも強力であることが証明されています。
この研究では、$K$ ホップ メッセージ パッシング GNN の制限について議論し、$K$ ホップ メッセージ パッシング GNN の表現力を向上させる \textit{部分構造エンコーディング関数} を提案します。
さらに、コンテキスト化された部分構造情報を注入して、$K$ ホップ メッセージ パッシング GNN の表現力を強化します。
私たちの手法は、$K$ ホップ グラフ ニューラル ネットワークや、特定の種類のサブグラフ ベースの GNN モデルである 1-WL サブグラフ GNN に関する以前の研究よりも強力であることが証明されており、3-WL よりも強力です。
経験的に、私たちが提案する方法は、さまざまなデータセットに対して新しい最先端のパフォーマンスを確立するか、同等のパフォーマンスを達成します。
コードは \url{https://github.com/tianyao-aka/Expressive_K_hop_GNNs} で入手できます。

要約(オリジナル)

Graph neural networks (GNNs) have become the \textit{de facto} standard for representational learning in graphs, and have achieved state-of-the-art performance in many graph-related tasks; however, it has been shown that the expressive power of standard GNNs are equivalent maximally to 1-dimensional Weisfeiler-Lehman (1-WL) Test. Recently, there is a line of works aiming to enhance the expressive power of graph neural networks. One line of such works aim at developing $K$-hop message-passing GNNs where node representation is updated by aggregating information from not only direct neighbors but all neighbors within $K$-hop of the node. Another line of works leverages subgraph information to enhance the expressive power which is proven to be strictly more powerful than 1-WL test. In this work, we discuss the limitation of $K$-hop message-passing GNNs and propose \textit{substructure encoding function} to uplift the expressive power of any $K$-hop message-passing GNN. We further inject contextualized substructure information to enhance the expressiveness of $K$-hop message-passing GNNs. Our method is provably more powerful than previous works on $K$-hop graph neural networks and 1-WL subgraph GNNs, which is a specific type of subgraph based GNN models, and not less powerful than 3-WL. Empirically, our proposed method set new state-of-the-art performance or achieves comparable performance for a variety of datasets. Our code is available at \url{https://github.com/tianyao-aka/Expresive_K_hop_GNNs}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google