Weisfeiler and Lehman Go Measurement Modeling: Probing the Validity of the WL Test

要約

グラフ ニューラル ネットワークの表現力は、通常、アーキテクチャが非同型であると識別できるグラフまたはノードのペアの数と、$k$ 次元のヴァイスファイラー リーマン ($k$-WL) 検定で識別できるグラフまたはノードのペアを比較することによって測定されます。
この論文では、$k$-WL の信頼性と妥当性の体系的な分析を通じて、グラフ機械学習の実践者による表現力の概念化と $k$-WL の間のずれを明らかにします。
表現力の概念化と $k$-WL についての仮定を明らかにするために、実践者を対象とした調査 ($n = 18$) を実施します。
実践者の意見とは対照的に、私たちの分析 (グラフ理論とベンチマーク監査に基づいた) では、$k$-WL が等値性を保証せず、現実世界のグラフ タスクとは無関係である可能性があり、一般化や信頼性を促進しない可能性があることが明らかになりました。
私たちは、ベンチマークに基づいた表現力の拡張的な定義と測定を主張します。
さらに、このようなベンチマークを構築するための指針となる質問にも貢献します。これは、グラフ機械学習の実践者が表現力についての理解を深め、透過的に伝えるために重要です。

要約(オリジナル)

The expressive power of graph neural networks is usually measured by comparing how many pairs of graphs or nodes an architecture can possibly distinguish as non-isomorphic to those distinguishable by the $k$-dimensional Weisfeiler-Lehman ($k$-WL) test. In this paper, we uncover misalignments between graph machine learning practitioners’ conceptualizations of expressive power and $k$-WL through a systematic analysis of the reliability and validity of $k$-WL. We conduct a survey ($n = 18$) of practitioners to surface their conceptualizations of expressive power and their assumptions about $k$-WL. In contrast to practitioners’ opinions, our analysis (which draws from graph theory and benchmark auditing) reveals that $k$-WL does not guarantee isometry, can be irrelevant to real-world graph tasks, and may not promote generalization or trustworthiness. We argue for extensional definitions and measurement of expressive power based on benchmarks. We further contribute guiding questions for constructing such benchmarks, which is critical for graph machine learning practitioners to develop and transparently communicate our understandings of expressive power.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google