A Manifold Perspective on the Statistical Generalization of Graph Neural Networks

要約

畳み込みニューラル ネットワークはグラフ上で動作するように拡張することに成功し、グラフ ニューラル ネットワーク (GNN) が誕生しました。
GNN は、グラフ畳み込みを連続的に適用することによって、隣接するノードからの情報を結合します。
GNN はさまざまな学習タスクにうまく実装されていますが、一般化機能の理論的理解はまだ進行中です。
この論文では、多様体理論を利用して、多様体からサンプリングされた点で構築されたグラフ上で動作する GNN の統計的汎化ギャップを分析します。
ノードレベルとグラフレベルのタスクの両方について、GNN の汎化ギャップを研究します。
トレーニング グラフ内のノードの数に応じて一般化ギャップが減少し、多様体上の目に見えない点への GNN の一般化が保証されることを示します。
理論的な結果を複数の実世界のデータセットで検証します。

要約(オリジナル)

Convolutional neural networks have been successfully extended to operate on graphs, giving rise to Graph Neural Networks (GNNs). GNNs combine information from adjacent nodes by successive applications of graph convolutions. GNNs have been implemented successfully in various learning tasks while the theoretical understanding of their generalization capability is still in progress. In this paper, we leverage manifold theory to analyze the statistical generalization gap of GNNs operating on graphs constructed on sampled points from manifolds. We study the generalization gaps of GNNs on both node-level and graph-level tasks. We show that the generalization gaps decrease with the number of nodes in the training graphs, which guarantees the generalization of GNNs to unseen points over manifolds. We validate our theoretical results in multiple real-world datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google