Towards Principled Graph Transformers

要約

k 次元ヴァイスフェイラー・レーマン (k-WL) 階層に基づくグラフ学習アーキテクチャは、理論的によく理解された表現力を提供します。
ただし、そのようなアーキテクチャは、現実世界のタスクに対して確実な予測パフォーマンスを提供できないことが多く、実際的な影響は限定的です。
対照的に、グラフ トランスフォーマーなどのグローバル アテンション ベースのモデルは、実際には強力なパフォーマンスを示しますが、特にこれらのアーキテクチャが表現力と予測パフォーマンスを位置エンコーディングまたは構造エンコーディングに依存しているため、その表現力を k-WL 階層と比較することは依然として困難です。
これに対処するために、最近提案されたエッジ トランスフォーマー (ノードではなくノード ペアで動作するグローバル アテンション モデル) が少なくとも 3-WL の表現力を備えていることを示します。
私たちは、エッジ トランスフォーマーが、位置エンコーディングや構造エンコーディングに依存せず、予測パフォーマンスに関して理論的に整合した他のアーキテクチャを上回っていることを経験的に示しています。

要約(オリジナル)

Graph learning architectures based on the k-dimensional Weisfeiler-Leman (k-WL) hierarchy offer a theoretically well-understood expressive power. However, such architectures often fail to deliver solid predictive performance on real-world tasks, limiting their practical impact. In contrast, global attention-based models such as graph transformers demonstrate strong performance in practice, but comparing their expressive power with the k-WL hierarchy remains challenging, particularly since these architectures rely on positional or structural encodings for their expressivity and predictive performance. To address this, we show that the recently proposed Edge Transformer, a global attention model operating on node pairs instead of nodes, has at least 3-WL expressive power. Empirically, we demonstrate that the Edge Transformer surpasses other theoretically aligned architectures regarding predictive performance while not relying on positional or structural encodings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google