NAGphormer: A Tokenized Graph Transformer for Node Classification in Large Graphs

要約

グラフ Transformer は新しいアーキテクチャとして登場し、さまざまなグラフ マイニング タスクで優れたパフォーマンスを示しています。
この作業では、既存のグラフ Transformer がノードを独立したトークンとして扱い、すべてのノード トークンで構成される単一の長いシーケンスを構築して Transformer モデルをトレーニングすることを確認しました。
自己注意計算のためのノードの数。
この目的のために、提案されたHop2Tokenモジュールによって構築された一連のトークンを含むシーケンスとして各ノードを扱うNeighborhood Aggregation Graph Transformer (NAGphormer)を提案します。
ノードごとに、Hop2Token は、異なるホップからの近隣フィーチャを異なる表現に集約し、それによって一連のトークン ベクトルを 1 つの入力として生成します。
このように、NAGphormer はミニバッチ方式でトレーニングでき、大きなグラフにスケーリングできます。
さらに、高度なグラフ ニューラル ネットワーク (GNN) のカテゴリである分離されたグラフ畳み込みネットワークと比較して、NAGphormer はマルチホップ近傍からより有益なノード表現を学習できることを数学的に示しています。
NAGphormer が既存のグラフ Transformer や主流の GNN よりも一貫して優れていることを実証するために、小規模から大規模までのベンチマーク データセットに関する広範な実験が行われています。
コードは https://github.com/JHL-HUST/NAGphormer で入手できます。

要約(オリジナル)

The graph Transformer emerges as a new architecture and has shown superior performance on various graph mining tasks. In this work, we observe that existing graph Transformers treat nodes as independent tokens and construct a single long sequence composed of all node tokens so as to train the Transformer model, causing it hard to scale to large graphs due to the quadratic complexity on the number of nodes for the self-attention computation. To this end, we propose a Neighborhood Aggregation Graph Transformer (NAGphormer) that treats each node as a sequence containing a series of tokens constructed by our proposed Hop2Token module. For each node, Hop2Token aggregates the neighborhood features from different hops into different representations and thereby produces a sequence of token vectors as one input. In this way, NAGphormer could be trained in a mini-batch manner and thus could scale to large graphs. Moreover, we mathematically show that as compared to a category of advanced Graph Neural Networks (GNNs), the decoupled Graph Convolutional Network, NAGphormer could learn more informative node representations from the multi-hop neighborhoods. Extensive experiments on benchmark datasets from small to large are conducted to demonstrate that NAGphormer consistently outperforms existing graph Transformers and mainstream GNNs. Code is available at https://github.com/JHL-HUST/NAGphormer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google