A Manifold Perspective on the Statistical Generalization of Graph Neural Networks

要約

グラフ ニューラル ネットワーク (GNN) は、グラフ上で動作するように畳み込みニューラル ネットワークを拡張します。
さまざまなグラフ学習タスクにおけるそれらの優れたパフォーマンスにもかかわらず、その汎化能力の理論的理解はまだ不足しています。
以前の GNN 一般化境界は、基礎となるグラフ構造を無視しており、多くの場合、ノードの数に応じて境界が増加します。これは、実際に経験される動作とは反対の動作です。
この論文では、スペクトル領域の多様体からサンプリングされたグラフ上で GNN の統計的一般化理論を確立するために多様体の視点を採用します。
経験的に証明されているように、GNN の一般化限界は、対数スケールのグラフのサイズに応じて線形に減少し、フィルター関数のスペクトル連続定数に応じて線形に増加することを証明します。
特に、私たちの理論はノードレベルとグラフレベルのタスクの両方を説明しています。
私たちの結果には 2 つの意味があります。i) 多様体上の目に見えないデータに対する GNN の一般化を保証します。
ii) GNN の実際的な設計についての洞察を提供する。つまり、より優れた汎化パフォーマンスを得るには、GNN の識別可能性に対する制限が必要である。
合成データセットと複数の実世界のデータセットを使用して、GNN の一般化限界を示します。

要約(オリジナル)

Graph Neural Networks (GNNs) extend convolutional neural networks to operate on graphs. Despite their impressive performances in various graph learning tasks, the theoretical understanding of their generalization capability is still lacking. Previous GNN generalization bounds ignore the underlying graph structures, often leading to bounds that increase with the number of nodes — a behavior contrary to the one experienced in practice. In this paper, we take a manifold perspective to establish the statistical generalization theory of GNNs on graphs sampled from a manifold in the spectral domain. As demonstrated empirically, we prove that the generalization bounds of GNNs decrease linearly with the size of the graphs in the logarithmic scale, and increase linearly with the spectral continuity constants of the filter functions. Notably, our theory explains both node-level and graph-level tasks. Our result has two implications: i) guaranteeing the generalization of GNNs to unseen data over manifolds; ii) providing insights into the practical design of GNNs, i.e., restrictions on the discriminability of GNNs are necessary to obtain a better generalization performance. We demonstrate our generalization bounds of GNNs using synthetic and multiple real-world datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google