Weisfeiler-Leman at the margin: When more expressivity matters

要約

Weisfeiler-Leman アルゴリズム ($1$-WL) は、グラフ同型性問題についてよく研究されたヒューリスティックです。
最近、このアルゴリズムは、メッセージ パッシング グラフ ニューラル ネットワーク (MPNN) の表現力を理解し、グラフ カーネルとして効果的であるという点で顕著な役割を果たしています。
その成功にもかかわらず、$1$-WL は非同型グラフを区別するという課題に直面しており、より表現力豊かな MPNN およびカーネル アーキテクチャの開発につながります。
ただし、表現力の向上と汎化パフォーマンスの向上との関係は不明のままです。
ここでは、グラフの同型性を通して見た場合、アーキテクチャの表現力から一般化パフォーマンスに関する限定的な洞察が得られることを示します。
さらに、$1$-WL と MPNN をサブグラフ情報で強化することに焦点を当て、古典的なマージン理論を使用して、アーキテクチャの表現力の向上が汎化パフォーマンスの向上と一致する条件を調査します。
さらに、勾配流が MPNN の重みを最大マージン解に向けて押し上げることを示します。
さらに、証明可能な一般化特性を備えた、表現力豊かな $1$-WL ベースのカーネルお​​よび MPNN アーキテクチャのバリエーションを紹介します。
私たちの実証研究により、理論的発見の妥当性が確認されました。

要約(オリジナル)

The Weisfeiler-Leman algorithm ($1$-WL) is a well-studied heuristic for the graph isomorphism problem. Recently, the algorithm has played a prominent role in understanding the expressive power of message-passing graph neural networks (MPNNs) and being effective as a graph kernel. Despite its success, $1$-WL faces challenges in distinguishing non-isomorphic graphs, leading to the development of more expressive MPNN and kernel architectures. However, the relationship between enhanced expressivity and improved generalization performance remains unclear. Here, we show that an architecture’s expressivity offers limited insights into its generalization performance when viewed through graph isomorphism. Moreover, we focus on augmenting $1$-WL and MPNNs with subgraph information and employ classical margin theory to investigate the conditions under which an architecture’s increased expressivity aligns with improved generalization performance. In addition, we show that gradient flow pushes the MPNN’s weights toward the maximum margin solution. Further, we introduce variations of expressive $1$-WL-based kernel and MPNN architectures with provable generalization properties. Our empirical study confirms the validity of our theoretical findings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google