Rewiring with Positional Encodings for Graph Neural Networks

要約

最近のいくつかの研究では、位置エンコーディングを使用して、注意メカニズムを備えたグラフ ニューラル ネットワーク (GNN) 層の受容野を拡張しています。
ただし、これらの手法は、受容野を完全なグラフに拡張するため、かなりの計算コストがかかり、従来の GNN の誘導バイアスが変化する危険性があるか、複雑なアーキテクチャの調整が必要です。
保守的な代替案として、位置エンコーディングを使用して、受信野を $r$-hop 近傍まで拡張します。
より具体的には、私たちの方法は追加のノード/エッジで入力グラフを拡張し、ノードおよび/またはエッジの特徴として位置エンコーディングを使用します。
したがって、モデル自体を変更するのではなく、下流の GNN モデルにグラフを入力する前にグラフを変更します。
これにより、私たちのメソッドはモデルに依存せず、既存の GNN アーキテクチャのいずれとも互換性があります。
また、元のグラフと変更されたグラフの間の 1 対 1 マップを使用したロスレスの位置エンコーディングの例も提供します。
位置エンコーディングと仮想完全接続ノードを介して受容野を拡張すると、GNN のパフォーマンスが大幅に向上し、小さな $r$ を使用して過剰潰れが軽減されることを実証します。
従来の GNN やグラフ トランスフォーマーを使用して、さまざまなモデルやデータセットを改善し、競争力のあるパフォーマンスを達成します。

要約(オリジナル)

Several recent works use positional encodings to extend the receptive fields of graph neural network (GNN) layers equipped with attention mechanisms. These techniques, however, extend receptive fields to the complete graph, at substantial computational cost and risking a change in the inductive biases of conventional GNNs, or require complex architecture adjustments. As a conservative alternative, we use positional encodings to expand receptive fields to $r$-hop neighborhoods. More specifically, our method augments the input graph with additional nodes/edges and uses positional encodings as node and/or edge features. We thus modify graphs before inputting them to a downstream GNN model, instead of modifying the model itself. This makes our method model-agnostic, i.e., compatible with any of the existing GNN architectures. We also provide examples of positional encodings that are lossless with a one-to-one map between the original and the modified graphs. We demonstrate that extending receptive fields via positional encodings and a virtual fully-connected node significantly improves GNN performance and alleviates over-squashing using small $r$. We obtain improvements on a variety of models and datasets and reach competitive performance using traditional GNNs or graph Transformers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google