Is uniform expressivity too restrictive? Towards efficient expressivity of graph neural networks

要約

均一な表現力により、入力グラフのサイズに応じて、グラフ ニューラル ネットワーク (GNN) がパラメーターなしでクエリを表現できることが保証されます。
このプロパティは、入力グラフのサイズに依存しないトレーニング可能なパラメーターの数を得るためにアプリケーションで望ましいものです。
1 次ロジックの 2 つの変数ガード フラグメント (GC2) の均一な表現力は、Rectified Linear Unit (ReLU) GNN のよく知られた結果です [Barcelo & al., 2020]。
この記事では、[Grohe, 2021] によって定式化された質問に答えるため、幅広いクラスのパフィアン活性化関数 (シグモイドとタン関数を含む) を備えた GNN では GC2 クエリの均一な表現が不可能であることを証明します。
また、これらの制限にもかかわらず、これらの GNN の多くは、パラメーターの数が入力グラフの最大次数で対数を維持する方法で GC2 クエリを効率的に表現できることも示します。
さらに、特定の活性化関数を選択すると、次数に対する対数依存関係が達成可能であることを示します。
これは、実際のアプリケーションで使用される大きなグラフをカバーすることで、均一な表現性をうまく緩和できることを示しています。
私たちの実験は、理論的な推定が実際に当てはまることを示しています。

要約(オリジナル)

Uniform expressivity guarantees that a Graph Neural Network (GNN) can express a query without the parameters depending on the size of the input graphs. This property is desirable in applications in order to have number of trainable parameters that is independent of the size of the input graphs. Uniform expressivity of the two variable guarded fragment (GC2) of first order logic is a well-celebrated result for Rectified Linear Unit (ReLU) GNNs [Barcelo & al., 2020]. In this article, we prove that uniform expressivity of GC2 queries is not possible for GNNs with a wide class of Pfaffian activation functions (including the sigmoid and tanh), answering a question formulated by [Grohe, 2021]. We also show that despite these limitations, many of those GNNs can still efficiently express GC2 queries in a way that the number of parameters remains logarithmic on the maximal degree of the input graphs. Furthermore, we demonstrate that a log-log dependency on the degree is achievable for a certain choice of activation function. This shows that uniform expressivity can be successfully relaxed by covering large graphs appearing in practical applications. Our experiments illustrates that our theoretical estimates hold in practice.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google