Improving Expressivity of GNNs with Subgraph-specific Factor Embedded Normalization

要約

グラフ ニューラル ネットワーク (GNN) は、グラフ構造データを処理するための学習アーキテクチャの強力なカテゴリとして登場しました。
ただし、既存の GNN は通常、ノードによって引き起こされるサブグラフの重要な構造特性を無視するため、さまざまな下流タスクの表現力が制限されます。
この論文では、~\emph{\textbf{SU}bgraph-s\textbf{PE}cific Facto\textbf{R と呼ばれる専用のプラグアンドプレイ正規化スキームを考案することで、GNN の代表的な機能を強化することに努めています。
} Embedded Normalization}~(SuperNorm)、ノードによって引き起こされる各サブグラフ内の接続内情報を明示的に考慮します。
この目的を達成するために、標準 BatchNorm の最初と最後にサブグラフ固有の要素を埋め込むとともに、識別機能を向上させるためにグラフ インスタンス固有の統計を組み込みます。
それまでの間、私たちは、精緻化された SuperNorm を使用することで、任意の GNN が非同型グラフの区別において 1-WL テストと少なくとも同じくらい強力であることを裏付ける理論分析を提供します。
さらに、提案された SuperNorm スキームは、過剰平滑化現象を軽減することも実証されています。
8 つの一般的なデータセットのグラフ、ノード、およびリンクのプロパティの予測に関連する実験結果は、提案された方法の有効性を示しています。
コードは \url{https://github.com/chenchkx/SuperNorm} で入手できます。

要約(オリジナル)

Graph Neural Networks~(GNNs) have emerged as a powerful category of learning architecture for handling graph-structured data. However, existing GNNs typically ignore crucial structural characteristics in node-induced subgraphs, which thus limits their expressiveness for various downstream tasks. In this paper, we strive to strengthen the representative capabilities of GNNs by devising a dedicated plug-and-play normalization scheme, termed as~\emph{\textbf{SU}bgraph-s\textbf{PE}cific Facto\textbf{R} Embedded Normalization}~(SuperNorm), that explicitly considers the intra-connection information within each node-induced subgraph. To this end, we embed the subgraph-specific factor at the beginning and the end of the standard BatchNorm, as well as incorporate graph instance-specific statistics for improved distinguishable capabilities. In the meantime, we provide theoretical analysis to support that, with the elaborated SuperNorm, an arbitrary GNN is at least as powerful as the 1-WL test in distinguishing non-isomorphism graphs. Furthermore, the proposed SuperNorm scheme is also demonstrated to alleviate the over-smoothing phenomenon. Experimental results related to predictions of graph, node, and link properties on the eight popular datasets demonstrate the effectiveness of the proposed method. The code is available at \url{https://github.com/chenchkx/SuperNorm}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google