Tokenphormer: Structure-aware Multi-token Graph Transformer for Node Classification

要約

グラフニューラルネットワーク（GNNS）は、グラフデータマイニングタスクで広く使用されています。
従来のGNNは、ローカルおよび構造情報を効果的に利用できるメッセージパススキームに従います。
ただし、過剰なスムージングと過度の剥離の現象は、メッセージの通過プロセスの受容フィールドを制限します。
これらの問題に対処するためにグラフ変圧器が導入され、グローバルな受容フィールドを達成しますが、無関係なノードのノイズと構造情報の喪失に苦しんでいます。
したがって、自然言語処理（NLP）における細かいトークンベースの表現学習からインスピレーションを得て、構造認識マルチトークングラフトランス（Tokenphormer）を提案し、複数のトークンを生成してローカルおよび構造情報を効果的にキャプチャし、さまざまなレベルの粒度でグローバル情報を探索します。
具体的には、最初に、グラフを探索し、構造とコンテキスト情報を柔軟にキャプチャするために、4つのウォークタイプで構成される混合ウォークで生成されたウォークトークンを紹介します。
ローカルおよびグローバルな情報カバレッジを確保するために、SGPMトークン（自己監視グラフ前路モデル、SGPMを介して取得）とホップトークンも導入し、それぞれウォークトークンの長さと密度の制限を延長します。
最後に、これらの表現力豊かなトークンは、ノード表現を共同で学習するためにトランスモデルに供給されます。
実験結果は、提案されたトークンフォーマーの能力がノード分類タスクで最先端のパフォーマンスを達成できることを示しています。

要約(オリジナル)

Graph Neural Networks (GNNs) are widely used in graph data mining tasks. Traditional GNNs follow a message passing scheme that can effectively utilize local and structural information. However, the phenomena of over-smoothing and over-squashing limit the receptive field in message passing processes. Graph Transformers were introduced to address these issues, achieving a global receptive field but suffering from the noise of irrelevant nodes and loss of structural information. Therefore, drawing inspiration from fine-grained token-based representation learning in Natural Language Processing (NLP), we propose the Structure-aware Multi-token Graph Transformer (Tokenphormer), which generates multiple tokens to effectively capture local and structural information and explore global information at different levels of granularity. Specifically, we first introduce the walk-token generated by mixed walks consisting of four walk types to explore the graph and capture structure and contextual information flexibly. To ensure local and global information coverage, we also introduce the SGPM-token (obtained through the Self-supervised Graph Pre-train Model, SGPM) and the hop-token, extending the length and density limit of the walk-token, respectively. Finally, these expressive tokens are fed into the Transformer model to learn node representations collaboratively. Experimental results demonstrate that the capability of the proposed Tokenphormer can achieve state-of-the-art performance on node classification tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google