On the power of graph neural networks and the role of the activation function

要約

この記事では、グラフ ニューラル ネットワーク (GNN) の表現力に関する新しい結果を紹介します。
区分的多項式活性化を備えた GNN では、アーキテクチャ サイズがグラフの入力サイズとともに増加しないため、深さ 2 の非同型ルート ツリーのペアが存在し、GNN が任意の数までのルート頂点を区別できないことが証明されます。
反復の。
証明は対称多項式の代数のツールに依存します。
対照的に、区分的多項式アクティベーションを備えた無制限の GNN (グラフ サイズに応じてサイズが変更できるもの) は、わずか 2 回の反復でこれらの頂点を区別できることがすでに知られていました。
私たちの結果は、サイズの制限のある GNN と制限のない GNN が厳密に分離されていることを示唆しており、[Grohe, 2021] によって定式化された未解決の質問に答えています。
次に、区分的多項式ではない活性化を許可する場合、2 回の反復で、単一のニューロン パーセプトロンが深さ 2 の非同型ツリーの任意のペアのルート頂点を区別できることを証明します (結果は、シグモイド、双曲線正接などの活性化にも当てはまります)
）。
これは、ニューラル ネットワークの活性化関数を変更すると、グラフ ニューラル ネットワークの能力がどのように大幅に変化するかを示しています。
この結果の証明には、超越数理論のリンデマン-ワイエルシュトラウスの定理が利用されます。

要約(オリジナル)

In this article we present new results about the expressivity of Graph Neural Networks (GNNs). We prove that for any GNN with piecewise polynomial activations, whose architecture size does not grow with the graph input sizes, there exists a pair of non-isomorphic rooted trees of depth two such that the GNN cannot distinguish their root vertex up to an arbitrary number of iterations. The proof relies on tools from the algebra of symmetric polynomials. In contrast, it was already known that unbounded GNNs (those whose size is allowed to change with the graph sizes) with piecewise polynomial activations can distinguish these vertices in only two iterations. Our results imply a strict separation between bounded and unbounded size GNNs, answering an open question formulated by [Grohe, 2021]. We next prove that if one allows activations that are not piecewise polynomial, then in two iterations a single neuron perceptron can distinguish the root vertices of any pair of nonisomorphic trees of depth two (our results hold for activations like the sigmoid, hyperbolic tan and others). This shows how the power of graph neural networks can change drastically if one changes the activation function of the neural networks. The proof of this result utilizes the Lindemann-Weierstrauss theorem from transcendental number theory.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google