The logic of rational graph neural networks

要約

グラフ ニューラル ネットワーク (GNN) の表現力は、1 次ロジックの適切なフラグメントを介して記述できます。
ラベル付きグラフ上で解釈される段階的モーダル ロジック (GC2) の 2 変数フラグメントのクエリは、グラフの入力サイズによってサイズが増加しない Rectified Linear Unit (ReLU) GNN を使用して表現できます [Barcelo & Al., 2020]。
逆に、GNN は、どのような活性化関数を選択しても、最大でも GC2 のクエリを表現します。
この記事では、深さ $3$ の一部の GC2 クエリは、有理活性化関数を使用した GNN では表現できないことを証明します。
これは、すべての非多項式活性化関数が GNN に最大の表現力を与えるわけではないことを示しており、[Grohe, 2021] によって定式化された未解決の質問に答えています。
この結果は、[Boull\’e & Al., 2020] によって調査された有理フィードフォワード ニューラル ネットワークの効率的な普遍的近似特性とも対照的です。
また、一次ロジック (RGC2) の有理サブフラグメントを提示し、有理 GNN がすべてのグラフにわたって均一に RGC2 クエリを表現できることを証明します。

要約(オリジナル)

The expressivity of Graph Neural Networks (GNNs) can be described via appropriate fragments of the first order logic. Any query of the two variable fragment of graded modal logic (GC2) interpreted over labeled graphs can be expressed using a Rectified Linear Unit (ReLU) GNN whose size does not grow with graph input sizes [Barcelo & Al., 2020]. Conversely, a GNN expresses at most a query of GC2, for any choice of activation function. In this article, we prove that some GC2 queries of depth $3$ cannot be expressed by GNNs with any rational activation function. This shows that not all non-polynomial activation functions confer GNNs maximal expressivity, answering a open question formulated by [Grohe, 2021]. This result is also in contrast with the efficient universal approximation properties of rational feedforward neural networks investigated by [Boull\’e & Al., 2020]. We also present a rational subfragment of the first order logic (RGC2), and prove that rational GNNs can express RGC2 queries uniformly over all graphs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google