Graph neural network outputs are almost surely asymptotically constant

要約

グラフ ニューラル ネットワーク (GNN) は、グラフに関するさまざまな学習タスクのための主要なアーキテクチャです。
私たちは、ランダムなグラフ モデルから描画されたより大きなグラフに GNN 確率的分類器を適用すると、その予測がどのように進化するかを研究することにより、GNN の表現力に関する新しい角度を提示します。
出力が定数関数に収束し、これらの分類器が一様に表現できる上限が決まることを示します。
この収束現象は、グラフ トランスフォーマーの平均およびアテンション ベースのメカニズムを含む集計を備えた、最先端のモデルを含む非常に幅広いクラスの GNN に当てはまります。
私たちの結果は、(スパース) Erd\H{o}s-R\’enyi モデルや確率的ブロック モデルを含む、幅広いクラスのランダム グラフ モデルに適用されます。
我々は、収束現象が比較的適度なサイズのグラフにすでに現れていることを観察し、これらの発見を経験的に検証します。

要約(オリジナル)

Graph neural networks (GNNs) are the predominant architectures for a variety of learning tasks on graphs. We present a new angle on the expressive power of GNNs by studying how the predictions of a GNN probabilistic classifier evolve as we apply it on larger graphs drawn from some random graph model. We show that the output converges to a constant function, which upper-bounds what these classifiers can express uniformly. This convergence phenomenon applies to a very wide class of GNNs, including state of the art models, with aggregates including mean and the attention-based mechanism of graph transformers. Our results apply to a broad class of random graph models, including the (sparse) Erd\H{o}s-R\’enyi model and the stochastic block model. We empirically validate these findings, observing that the convergence phenomenon already manifests itself on graphs of relatively modest size.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google