Improving Graph Neural Networks on Multi-node Tasks with Labeling Tricks

要約

タイトル：ラベリングトリックによるマルチノードタスクにおけるグラフニューラルネットワークの改善

要約：
– 複数のノード、例えばリンクなどのセットの表現を学習するために、グラフニューラルネットワーク（GNN）を使用する理論を提供する。
– 既存のGNNは、単一のノード表現を学習するために主に設計されている。
– 複数ノードを含むノードセットの表現を学習する場合、先行研究ではGNNで取得した単一のノード表現を直接集約することが一般的だった。
– しかし、この方法には複数のノード間の依存関係を捉えることができないという根本的な制限があるため、単一のノード表現を直接集約することは複数のノードのための効果的な共同表現を生成することに失敗する。
– ターゲットノードとそれ以外のノードを区別することができれば問題を解決できる。形式化すると、ラベリングトリックは、GNNを適用する前にグラフ内のノードをターゲットノードセットとの関係に応じてラベル付けしてから、ラベル付きグラフで取得したノード表現を集約して、マルチノード表現を作成する。
– ラベリングトリックは、SEAL、Distance Encoding、ID-GNN、NBFNetを含む、いくつかの前の成功したマルチノード表現学習の作品を統一する。
– グラフ内のノードセットに加えて、ラベリングトリックをposet、サブセット、ハイパーグラフに拡張する。
– 実験は、ラベリングトリック技術が、無向リンク予測、有向リンク予測、ハイパーエッジ予測、サブグラフ予測などの様々なタスクでGNNを向上させることができることを検証している。また、これまでのノードラベリングベースの手法の優れた性能を説明し、GNNを使用したマルチノード表現学習の理論的基盤を確立している。

要約(オリジナル)

In this paper, we provide a theory of using graph neural networks (GNNs) for \textit{multi-node representation learning}, where we are interested in learning a representation for a set of more than one node such as a link. Existing GNNs are mainly designed to learn single-node representations. When we want to learn a node-set representation involving multiple nodes, a common practice in previous works is to directly aggregate the single-node representations obtained by a GNN. In this paper, we show a fundamental limitation of such an approach, namely the inability to capture the dependence among multiple nodes in a node set, and argue that directly aggregating individual node representations fails to produce an effective joint representation for multiple nodes. A straightforward solution is to distinguish target nodes from others. Formalizing this idea, we propose \text{labeling trick}, which first labels nodes in the graph according to their relationships with the target node set before applying a GNN and then aggregates node representations obtained in the labeled graph for multi-node representations. The labeling trick also unifies a few previous successful works for multi-node representation learning, including SEAL, Distance Encoding, ID-GNN, and NBFNet. Besides node sets in graphs, we also extend labeling tricks to posets, subsets and hypergraphs. Experiments verify that the labeling trick technique can boost GNNs on various tasks, including undirected link prediction, directed link prediction, hyperedge prediction, and subgraph prediction. Our work explains the superior performance of previous node-labeling-based methods and establishes a theoretical foundation for using GNNs for multi-node representation learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI