Generalization Bounds for Message Passing Networks on Mixture of Graphons

要約

グラフニューラルネットワーク(GNN)の一種であるメッセージパッシングニューラルネットワーク(MPNN)の汎化能力について研究する。特に正規化和集合と平均集合を持つMPNNの汎化境界を導出する。我々の分析は、有限のテンプレートグラフ集合を組み込んだデータ生成モデルに基づいている。この枠組みにおける各グラフは、ある程度の摂動を持つグラフンからサンプリングすることで生成される。特に、我々はこれまでのMPNNの汎化結果を、より現実的な設定に拡張し、以下の修正を加えた：1)重み付きグラフではなく、ベルヌーイ分布の辺を持つ単純なランダムグラフを解析する、2)きれいなグラフではなく、摂動グラフからグラフとグラフ信号の両方をサンプリングする、3)密なグラフではなく、疎なグラフを解析する。より現実的で困難なこのシナリオにおいて、グラフの平均ノード数が増加するにつれて減少する汎化境界を提供する。我々の結果は、グラフが十分に大きい限り、学習セットのサイズよりも複雑なMPNNでも効果的に汎化できることを示唆している。

要約(オリジナル)

We study the generalization capabilities of Message Passing Neural Networks (MPNNs), a prevalent class of Graph Neural Networks (GNN). We derive generalization bounds specifically for MPNNs with normalized sum aggregation and mean aggregation. Our analysis is based on a data generation model incorporating a finite set of template graphons. Each graph within this framework is generated by sampling from one of the graphons with a certain degree of perturbation. In particular, we extend previous MPNN generalization results to a more realistic setting, which includes the following modifications: 1) we analyze simple random graphs with Bernoulli-distributed edges instead of weighted graphs; 2) we sample both graphs and graph signals from perturbed graphons instead of clean graphons; and 3) we analyze sparse graphs instead of dense graphs. In this more realistic and challenging scenario, we provide a generalization bound that decreases as the average number of nodes in the graphs increases. Our results imply that MPNNs with higher complexity than the size of the training set can still generalize effectively, as long as the graphs are sufficiently large.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL