Towards Better Evaluation of GNN Expressiveness with BREC Dataset

要約

タイトル: BRECデータセットを用いたGNN表現力の向上に向けての評価手法の提案
要約:
– GNNの理論的表現力に関する研究は急速に進展しており、表現力を高めるための多くの手法が提案されている。
– しかし、多くの手法は$k$-dimensional Weisfeiler-Lehman ($k$-WL)テスト階層に厳密に従うものを除いて、一様な表現力の尺度を持っていない。
– これらの理論的分析は、非同型なグラフの特定のファミリーを区別することに限定されており、表現力を量的に比較することが難しい。
– 表現力を測定する別の方法は、1-WL不可識別グラフを含む特定のデータセットでモデルのパフォーマンスを評価することである。
– 以前のデータセットは、1-WLを超えるどのモデルもほぼ100％の正確性を持つため、困難さ、粒度、そしてスケールの面で問題があった。
– これらの限界に対処するために、Basic、Regular、Extension、CFIの4つの主要なカテゴリから慎重に選択された400組の非同型グラフを含むBRECデータセットを提案する。
– これらのグラフはより高い難易度（4-WLまで）、より緻密な粒度（1-WLから3-WLまでのモデルを比較できる）、そしてより大規模なスケール（400ペア）を持つ。
– さらに、16の1-WLを超える表現力を持つモデルをBRECデータセットで合成的にテストする。
– この実験は、最新の1-WLを超えるGNNモデルの表現力を徹底的に比較した初めてのものである。
– このデータセットは、将来のGNNの表現力のテストのベンチマークとして役立つことが期待される。データセットと評価コードは、以下のURLで公開されている: https://github.com/GraphPKU/BREC。

要約(オリジナル)

Research on the theoretical expressiveness of Graph Neural Networks (GNNs) has developed rapidly, and many methods have been proposed to enhance the expressiveness. However, most methods do not have a uniform expressiveness measure except for a few that strictly follow the $k$-dimensional Weisfeiler-Lehman ($k$-WL) test hierarchy. Their theoretical analyses are often limited to distinguishing certain families of non-isomorphic graphs, leading to difficulties in quantitatively comparing their expressiveness. In contrast to theoretical analysis, another way to measure expressiveness is by evaluating model performance on certain datasets containing 1-WL-indistinguishable graphs. Previous datasets specifically designed for this purpose, however, face problems with difficulty (any model surpassing 1-WL has nearly 100% accuracy), granularity (models tend to be either 100% correct or near random guess), and scale (only a few essentially different graphs in each dataset). To address these limitations, we propose a new expressiveness dataset, $\textbf{BREC}$, which includes 400 pairs of non-isomorphic graphs carefully selected from four primary categories (Basic, Regular, Extension, and CFI). These graphs have higher difficulty (up to 4-WL), finer granularity (able to compare models between 1-WL and 3-WL), and a larger scale (400 pairs). Further, we synthetically test 16 models with higher-than-1-WL expressiveness on our BREC dataset. Our experiment gives the first thorough comparison of the expressiveness of those state-of-the-art beyond-1-WL GNN models. We expect this dataset to serve as a benchmark for testing the expressiveness of future GNNs. Our dataset and evaluation code are released at: https://github.com/GraphPKU/BREC.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI