Graph Transformers without Positional Encodings

要約

近年、グラフ表現学習のためのトランスフォーマーはますます人気が高まっており、単独あるいはメッセージパッシンググラフニューラルネットワーク（MP-GNN）と組み合わせることで、様々なグラフデータセットにおいて最先端の性能を達成している。このような素晴らしい結果を達成するためには、生来構造にとらわれない変換器アーキテクチャに、構造エンコーディングや位置エンコーディング（PE）という形でグラフ誘導バイアスを組み込むことが鍵となる。しかしながら、このような符号化を設計することは難しく、ラプラシアン固有ベクトル、相対ランダムウォーク確率（RRWP）、空間符号化、中心性符号化、エッジ符号化など、様々な試みがなされてきた。本研究では、注目メカニズム自体がグラフ構造に関する情報を組み込んでいれば、そのようなエンコーディングは全く必要ないかもしれないと主張する。我々は、グラフのラプラシアンスペクトルを認識する新しいスペクトル認識注意メカニズムを採用したグラフ変換器であるEigenformerを紹介し、多くの標準的なGNNベンチマークにおいてSOTAグラフ変換器に匹敵する性能を達成することを経験的に示す。さらに、Eigenformerが様々なグラフ構造連結行列を表現できることを理論的に証明する。

要約(オリジナル)

Recently, Transformers for graph representation learning have become increasingly popular, achieving state-of-the-art performance on a wide-variety of graph datasets, either alone or in combination with message-passing graph neural networks (MP-GNNs). Infusing graph inductive-biases in the innately structure-agnostic transformer architecture in the form of structural or positional encodings (PEs) is key to achieving these impressive results. However, designing such encodings is tricky and disparate attempts have been made to engineer such encodings including Laplacian eigenvectors, relative random-walk probabilities (RRWP), spatial encodings, centrality encodings, edge encodings etc. In this work, we argue that such encodings may not be required at all, provided the attention mechanism itself incorporates information about the graph structure. We introduce Eigenformer, a Graph Transformer employing a novel spectrum-aware attention mechanism cognizant of the Laplacian spectrum of the graph, and empirically show that it achieves performance competetive with SOTA Graph Transformers on a number of standard GNN benchmarks. Additionally, we theoretically prove that Eigenformer can express various graph structural connectivity matrices, which is particularly essential when learning over smaller graphs.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL