The Descriptive Complexity of Graph Neural Networks

要約

ブール回路の複雑さと記述の複雑さの観点から、グラフ ニューラル ネットワーク (GNN) の能力を分析します。
GNN の多項式サイズの境界深さファミリによって計算できるグラフ クエリは、カウントと組み込み関係を使用した 1 次論理の保護されたフラグメント GFO+C で定義可能なものであることを証明します。
これにより、GNN は回路複雑度クラス TC^0 に分類されます。
驚くべきことに、GNN ファミリは、任意の実数の重みと、標準の ReLU、ロジスティック ‘シグモイド’、および双曲線正接関数を含む幅広いクラスの活性化関数を使用する場合があります。
GNN がランダムな初期化とグローバル読み出し (どちらも実際に広く使用されている GNN の標準機能) の使用を許可されている場合、それらはしきい値ゲートを備えた境界深度ブール回路とまったく同じクエリ、つまり TC^0 のクエリを正確に計算できます。
.
さらに、区分線形活性化と有理重みを備えた単一の GNN によって計算可能なクエリが、組み込みのリレーションなしで GFO+C で定義可能であることを示します。
したがって、それらは均一な TC^0 に含まれます。

要約(オリジナル)

We analyse the power of graph neural networks (GNNs) in terms of Boolean circuit complexity and descriptive complexity. We prove that the graph queries that can be computed by a polynomial-size bounded-depth family of GNNs are exactly those definable in the guarded fragment GFO+C of first-order logic with counting and with built-in relations. This puts GNNs in the circuit complexity class TC^0. Remarkably, the GNN families may use arbitrary real weights and a wide class of activation functions that includes the standard ReLU, logistic ‘sigmoid’, and hyperbolic tangent functions. If the GNNs are allowed to use random initialisation and global readout (both standard features of GNNs widely used in practice), they can compute exactly the same queries as bounded depth Boolean circuits with threshold gates, that is, exactly the queries in TC^0. Moreover, we show that queries computable by a single GNN with piecewise linear activations and rational weights are definable in GFO+C without built-in relations. Therefore, they are contained in uniform TC^0.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google