Technical Report: The Graph Spectral Token — Enhancing Graph Transformers with Spectral Information

要約

グラフ トランスフォーマーは、情報交換の過剰な抑制などの制限に対処するために、メッセージ パッシング グラフ ニューラル ネットワーク (MP-GNN) の強力な代替手段として登場しました。
ただし、グラフ誘導バイアスを変圧器アーキテクチャに組み込むことは依然として大きな課題です。
このレポートでは、グラフのグローバル構造を捕捉するグラフ スペクトル情報をトランスフォーマー アーキテクチャに直接エンコードする新しいアプローチである、グラフ スペクトル トークンを提案します。
補助 [CLS] トークンをパラメータ化し、グラフ ノードを表す他のトークンを残すことにより、私たちの方法はスペクトル情報を学習プロセスにシームレスに統合します。
既存の 2 つのグラフ トランスフォーマー、GraphTrans と SubFormer を強化することで、アプローチの有効性をベンチマークします。
GraphTrans-Spec と呼ばれる改良された GraphTrans は、MP-GNN に匹敵する効率を維持しながら、大規模なグラフ ベンチマーク データセットで 10% 以上の改善を達成します。
SubFormer-Spec は、さまざまなデータセットにわたって強力なパフォーマンスを示します。

要約(オリジナル)

Graph Transformers have emerged as a powerful alternative to Message-Passing Graph Neural Networks (MP-GNNs) to address limitations such as over-squashing of information exchange. However, incorporating graph inductive bias into transformer architectures remains a significant challenge. In this report, we propose the Graph Spectral Token, a novel approach to directly encode graph spectral information, which captures the global structure of the graph, into the transformer architecture. By parameterizing the auxiliary [CLS] token and leaving other tokens representing graph nodes, our method seamlessly integrates spectral information into the learning process. We benchmark the effectiveness of our approach by enhancing two existing graph transformers, GraphTrans and SubFormer. The improved GraphTrans, dubbed GraphTrans-Spec, achieves over 10% improvements on large graph benchmark datasets while maintaining efficiency comparable to MP-GNNs. SubFormer-Spec demonstrates strong performance across various datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google