Graph Neural Networks with polynomial activations have limited expressivity

要約

グラフニューラルネットワーク(GNN)の表現力は、一階論理の適切な断片によって完全に特徴付けることができる。すなわち、ラベル付きグラフ上で解釈されるgraded modal logic (GC2)の2変数フラグメントの任意のクエリは、そのサイズがクエリの深さにのみ依存するGNNを用いて表現することができる。Barcelo & Al., 2020, Grohe, 2021]によって指摘されたように、この記述は活性化関数のファミリーに対して成立し、選択された活性化関数に依存するGNNによって表現可能な論理の階層の可能性を残す。本論文では、GC2 クエリが多項式活性化関数を持つ GNN によって表現できないことを証明することで、そのような階層が実際に存在することを示す。このことは、多項式活性化関数と一般的な非多項式活性化関数（ReLUs、シグモイド、双曲線タンなど）との間の分離を意味し、[Grohe, 2021]によって定式化された未解決の問題に答えるものである。

要約(オリジナル)

The expressivity of Graph Neural Networks (GNNs) can be entirely characterized by appropriate fragments of the first-order logic. Namely, any query of the two variable fragment of graded modal logic (GC2) interpreted over labeled graphs can be expressed using a GNN whose size depends only on the depth of the query. As pointed out by [Barcelo & Al., 2020, Grohe, 2021], this description holds for a family of activation functions, leaving the possibility for a hierarchy of logics expressible by GNNs depending on the chosen activation function. In this article, we show that such hierarchy indeed exists by proving that GC2 queries cannot be expressed by GNNs with polynomial activation functions. This implies a separation between polynomial and popular non-polynomial activations (such as ReLUs, sigmoid and hyperbolic tan and others) and answers an open question formulated by [Grohe, 2021].

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL