Benchmarking Positional Encodings for GNNs and Graph Transformers

要約

グラフ ニューラル ネットワーク (GNN) とグラフ トランスフォーマー (GT) の最近の進歩は、ノード機能を強化し、グラフ トポロジをキャプチャするために重要なアーキテクチャと位置エンコーディング (PE) の革新によって推進されています。
PE は GT にとって不可欠であり、PE がなければメッセージ パッシングがなければトポロジ情報が失われます。
ただし、PE は新しいアーキテクチャと並行してテストされることが多く、確立されたモデルに対する影響を分離することが困難になります。
これに対処するために、メッセージパッシング GNN と GT の両方を含む統一フレームワークで PE の包括的なベンチマークを提示します。
また、MPNN と GT の間の理論的な接続を確立し、グローバルな接続性の影響を調べるために散在化された GRIT アテンション メカニズムを導入します。
私たちの調査結果は、これまでテストされていなかった GNN アーキテクチャと PE の組み合わせが既存の手法を上回るパフォーマンスを発揮し、最先端のより包括的な全体像を提供できることを示しています。
私たちのフレームワークでの将来の研究と実験をサポートするために、コードを公開します。

要約(オリジナル)

Recent advances in Graph Neural Networks (GNNs) and Graph Transformers (GTs) have been driven by innovations in architectures and Positional Encodings (PEs), which are critical for augmenting node features and capturing graph topology. PEs are essential for GTs, where topological information would otherwise be lost without message-passing. However, PEs are often tested alongside novel architectures, making it difficult to isolate their effect on established models. To address this, we present a comprehensive benchmark of PEs in a unified framework that includes both message-passing GNNs and GTs. We also establish theoretical connections between MPNNs and GTs and introduce a sparsified GRIT attention mechanism to examine the influence of global connectivity. Our findings demonstrate that previously untested combinations of GNN architectures and PEs can outperform existing methods and offer a more comprehensive picture of the state-of-the-art. To support future research and experimentation in our framework, we make the code publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google