Towards Principled Graph Transformers

要約

k 次元ヴァイスフェイラー・レーマン (k-WL) 階層に基づくグラフ学習アーキテクチャは、理論的によく理解された表現力を提供します。
ただし、そのようなアーキテクチャは、現実世界のタスクに対して確実な予測パフォーマンスを提供できないことが多く、実際的な影響は限定的です。
対照的に、グラフ トランスフォーマーなどのグローバル アテンション ベースのモデルは、実際には優れたパフォーマンスを示しますが、特にこれらのアーキテクチャは表現力と予測パフォーマンスを位置エンコーディングまたは構造エンコーディングに依存しているため、その表現力を k-WL 階層と比較することは依然として困難です。
これに対処するために、最近提案されたエッジ トランスフォーマー (ノードではなくノード ペアで動作するグローバル アテンション モデル) が少なくとも 3-WL の表現力を備えていることを示します。
私たちは、エッジ トランスフォーマーが、位置エンコーディングや構造エンコーディングに依存せず、予測パフォーマンスに関して理論的に整合した他のアーキテクチャを上回っていることを経験的に示しています。
私たちのコードは https://github.com/luis-mueller/towards-principled-gts で入手できます。

要約(オリジナル)

Graph learning architectures based on the k-dimensional Weisfeiler-Leman (k-WL) hierarchy offer a theoretically well-understood expressive power. However, such architectures often fail to deliver solid predictive performance on real-world tasks, limiting their practical impact. In contrast, global attention-based models such as graph transformers demonstrate strong performance in practice, but comparing their expressive power with the k-WL hierarchy remains challenging, particularly since these architectures rely on positional or structural encodings for their expressivity and predictive performance. To address this, we show that the recently proposed Edge Transformer, a global attention model operating on node pairs instead of nodes, has at least 3-WL expressive power. Empirically, we demonstrate that the Edge Transformer surpasses other theoretically aligned architectures regarding predictive performance while not relying on positional or structural encodings. Our code is available at https://github.com/luis-mueller/towards-principled-gts

arxiv情報

提供元, 利用サービス

arxiv.jp, Google