Towards Better Evaluation of GNN Expressiveness with BREC Dataset

要約

グラフニューラルネットワーク(GNN)の理論的表現力に関する研究は急速に発展しており、表現力を向上させるための多くの手法が提案されている。しかし、$k$次元のWeisfeiler-Lehman ($k$-WL)検定階層に厳密に従ういくつかの手法を除き、ほとんどの手法は統一的な表現力尺度を持たない。それらの理論的解析は、非同型グラフの特定の族を区別することに限定されることが多く、表現力を定量的に比較することが困難である。理論解析とは対照的に、表現力を測定するもう一つの方法は、1-WL区別不可能グラフを含む特定のデータセット上でモデルの性能を評価することである。しかし、この目的のために特別に設計されたこれまでのデータセットは、難易度（1-WLを超えるモデルはほぼ100％の精度を持つ）、粒度（モデルは100％正しいか、ランダムな推測に近いかのどちらかになる傾向がある）、規模（各データセットには本質的に異なるグラフが数個しかない）の問題に直面している。これらの限界に対処するため、我々は新しい表現力データセット$textbf{BREC}$を提案する。このデータセットには、4つの主要カテゴリ（基本、正規、拡張、CFI）から注意深く選択された400組の非同型グラフが含まれる。これらのグラフは難易度が高く（4-WLまで区別できない）、粒度が細かく（1-WLと3-WLのモデルを比較できる）、規模が大きい（400組）。さらに、1-WLより高い表現力を持つ23のモデルをBRECデータセットで合成テストした。この実験により、1-WLを超えるGNNモデルの表現力を初めて徹底的に比較した。このデータセットは、将来のGNNの表現力をテストするためのベンチマークとして機能することが期待される。我々のデータセットと評価コードはhttps://github.com/GraphPKU/BREC。

要約(オリジナル)

Research on the theoretical expressiveness of Graph Neural Networks (GNNs) has developed rapidly, and many methods have been proposed to enhance the expressiveness. However, most methods do not have a uniform expressiveness measure except for a few that strictly follow the $k$-dimensional Weisfeiler-Lehman ($k$-WL) test hierarchy. Their theoretical analyses are often limited to distinguishing certain families of non-isomorphic graphs, leading to difficulties in quantitatively comparing their expressiveness. In contrast to theoretical analysis, another way to measure expressiveness is by evaluating model performance on certain datasets containing 1-WL-indistinguishable graphs. Previous datasets specifically designed for this purpose, however, face problems with difficulty (any model surpassing 1-WL has nearly 100% accuracy), granularity (models tend to be either 100% correct or near random guess), and scale (only a few essentially different graphs in each dataset). To address these limitations, we propose a new expressiveness dataset, $\textbf{BREC}$, which includes 400 pairs of non-isomorphic graphs carefully selected from four primary categories (Basic, Regular, Extension, and CFI). These graphs have higher difficulty (up to 4-WL-indistinguishable), finer granularity (able to compare models between 1-WL and 3-WL), and a larger scale (400 pairs). Further, we synthetically test 23 models with higher-than-1-WL expressiveness on our BREC dataset. Our experiment gives the first thorough comparison of the expressiveness of those state-of-the-art beyond-1-WL GNN models. We expect this dataset to serve as a benchmark for testing the expressiveness of future GNNs. Our dataset and evaluation code are released at: https://github.com/GraphPKU/BREC.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL