Equivariant Polynomials for Graph Neural Networks

要約

グラフ ニューラル ネットワーク (GNN) は、本質的に表現力が限られています。
最近の独創的な研究 (Xu et al., 2019; Morris et al., 2019b) では、表現力の尺度として Weisfeiler-Lehman (WL) ヒエラルキーが導入されました。
この階層は、GNN の分析とアーキテクチャの開発において大きな進歩を遂げてきましたが、いくつかの重大な制限に悩まされています。
これらには、モデルを改善するための直接的なガイダンスがない複雑な定義や、現在の GNN を研究するには粗すぎる WL 階層が含まれます。
この論文では、ある程度の同変多項式を計算する GNN の能力に基づく代替表現力階層を紹介します。
最初のステップとして、具体的な基底を導入し、以前の結果を大幅に一般化することにより、すべての同変グラフ多項式の完全な特徴付けを提供します。
各基底要素は特定のマルチグラフに対応し、いくつかのグラフ データ入力に対するその計算はテンソル縮小問題に対応します。
次に、テンソル収縮シーケンスを使用して GNN の表現力を評価するためのアルゴリズム ツールを提案し、一般的な GNN の表現力を計算します。
最後に、多項式機能または理論に触発された追加の操作/集計を追加することにより、一般的な GNN アーキテクチャの表現力を高めます。
これらの強化された GNN は、複数のグラフ学習ベンチマークにわたる実験で最先端の結果を示しています。

要約(オリジナル)

Graph Neural Networks (GNN) are inherently limited in their expressive power. Recent seminal works (Xu et al., 2019; Morris et al., 2019b) introduced the Weisfeiler-Lehman (WL) hierarchy as a measure of expressive power. Although this hierarchy has propelled significant advances in GNN analysis and architecture developments, it suffers from several significant limitations. These include a complex definition that lacks direct guidance for model improvement and a WL hierarchy that is too coarse to study current GNNs. This paper introduces an alternative expressive power hierarchy based on the ability of GNNs to calculate equivariant polynomials of a certain degree. As a first step, we provide a full characterization of all equivariant graph polynomials by introducing a concrete basis, significantly generalizing previous results. Each basis element corresponds to a specific multi-graph, and its computation over some graph data input corresponds to a tensor contraction problem. Second, we propose algorithmic tools for evaluating the expressiveness of GNNs using tensor contraction sequences, and calculate the expressive power of popular GNNs. Finally, we enhance the expressivity of common GNN architectures by adding polynomial features or additional operations / aggregations inspired by our theory. These enhanced GNNs demonstrate state-of-the-art results in experiments across multiple graph learning benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google