Graph Neural Networks with polynomial activations have limited expressivity

要約

グラフ ニューラル ネットワーク (GNN) の表現力は、1 次ロジックの適切なフラグメントによって完全に特徴付けることができます。
つまり、ラベル付きグラフ上で解釈される段階的モーダル ロジック (GC2) の 2 変数フラグメントのクエリは、サイズがクエリの深さのみに依存する GNN を使用して表現できます。
[Barcelo & Al., 2020, Grohe, 2021] で指摘されているように、この説明は活性化関数のファミリーに当てはまり、選択した活性化関数に応じて GNN によって表現可能なロジックの階層の可能性が残されています。
この記事では、GC2 クエリを多項式活性化関数を使用した GNN で表現できないことを証明することで、そのような階層が実際に存在することを示します。
これは、多項式アクティベーションと一般的な非多項式アクティベーション (Rectified Linear Units など) との分離を意味し、[Grohe, 21] によって定式化された未解決の質問に答えます。

要約(オリジナル)

The expressivity of Graph Neural Networks (GNNs) can be entirely characterized by appropriate fragments of the first order logic. Namely, any query of the two variable fragment of graded modal logic (GC2) interpreted over labeled graphs can be expressed using a GNN whose size depends only on the depth of the query. As pointed out by [Barcelo & Al., 2020, Grohe, 2021], this description holds for a family of activation functions, leaving the possibibility for a hierarchy of logics expressible by GNNs depending on the chosen activation function. In this article, we show that such hierarchy indeed exists by proving that GC2 queries cannot be expressed by GNNs with polynomial activation functions. This implies a separation between polynomial and popular non polynomial activations (such as Rectified Linear Units) and answers an open question formulated by [Grohe, 21].

arxiv情報

提供元, 利用サービス

arxiv.jp, Google