On the Expressive Power of Spectral Invariant Graph Neural Networks

要約

グラフ ニューラル ネットワーク (GNN) を強化するためにスペクトル情報を組み込むことは有望な結果を示していますが、固有ベクトルの固有のあいまいさにより根本的な課題が生じています。
この曖昧さに対処するために、スペクトル不変アーキテクチャと呼ばれるさまざまなアーキテクチャが提案されています。
注目すべき例には、スペクトル距離、スペクトル射影行列、またはその他の不変スペクトル特徴を使用する GNN およびグラフ トランスフォーマーが含まれます。
ただし、これらのスペクトル不変アーキテクチャの潜在的な表現力はほとんど不明のままです。
この研究の目的は、スペクトル特徴を使用したときに得られる表現力について理論的に深く理解することです。
まず、固有空間投影 GNN (EPNN) と呼ばれる、スペクトル不変 GNN を設計するための統合メッセージ パッシング フレームワークを紹介します。
包括的な分析により、EPNN は厳密に表現力が劣るか、EPNN と同等であるという点で、従来のすべてのスペクトル不変アーキテクチャを本質的に統合していることが示されています。
さまざまなアーキテクチャ間のきめ細かい表現力の階層も確立されています。
一方で、EPNN 自体が最近提案されたクラスのサブグラフ GNN によって制限されていることを証明します。これは、これらすべてのスペクトル不変アーキテクチャが 3-WL より厳密に表現力が低いことを意味します。
最後に、スペクトル特徴を使用すると、より表現力の高い GNN と組み合わせたときにさらに表現力が得られるかどうかについて説明します。

要約(オリジナル)

Incorporating spectral information to enhance Graph Neural Networks (GNNs) has shown promising results but raises a fundamental challenge due to the inherent ambiguity of eigenvectors. Various architectures have been proposed to address this ambiguity, referred to as spectral invariant architectures. Notable examples include GNNs and Graph Transformers that use spectral distances, spectral projection matrices, or other invariant spectral features. However, the potential expressive power of these spectral invariant architectures remains largely unclear. The goal of this work is to gain a deep theoretical understanding of the expressive power obtainable when using spectral features. We first introduce a unified message-passing framework for designing spectral invariant GNNs, called Eigenspace Projection GNN (EPNN). A comprehensive analysis shows that EPNN essentially unifies all prior spectral invariant architectures, in that they are either strictly less expressive or equivalent to EPNN. A fine-grained expressiveness hierarchy among different architectures is also established. On the other hand, we prove that EPNN itself is bounded by a recently proposed class of Subgraph GNNs, implying that all these spectral invariant architectures are strictly less expressive than 3-WL. Finally, we discuss whether using spectral features can gain additional expressiveness when combined with more expressive GNNs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google