Asymptotic generalization error of a single-layer graph convolutional network

要約

グラフ畳み込みネットワークは実用的な有望性を示していますが、サンプル数の関数としてのグラフ畳み込みネットワークの汎化特性の理論的理解は、より広く研究されている教師あり完全接続ニューラル ネットワークの場合と比較すると、まだ初期段階にあります。
この記事では、高次元の極限における属性付き確率ブロック モデル (SBM) によって生成されたデータでトレーニングされた単層グラフ畳み込みネットワーク (GCN) のパフォーマンスを予測します。
これまで、Shi et al. ではコンテキスト SBM (CSBM) のリッジ回帰のみが考慮されてきました。
2022年;
解析を CSBM の任意の凸損失と正則化に一般化し、別のデータ モデルであるニューラル事前 SBM の解析を追加します。
また、高い信号対雑音比の限界についても研究し、GCN の収束率を詳しく調べ、一貫性はあるものの、考慮したどのケースでもベイズの最適収束率に達していないことを示します。

要約(オリジナル)

While graph convolutional networks show great practical promises, the theoretical understanding of their generalization properties as a function of the number of samples is still in its infancy compared to the more broadly studied case of supervised fully connected neural networks. In this article, we predict the performances of a single-layer graph convolutional network (GCN) trained on data produced by attributed stochastic block models (SBMs) in the high-dimensional limit. Previously, only ridge regression on contextual-SBM (CSBM) has been considered in Shi et al. 2022; we generalize the analysis to arbitrary convex loss and regularization for the CSBM and add the analysis for another data model, the neural-prior SBM. We also study the high signal-to-noise ratio limit, detail the convergence rates of the GCN and show that, while consistent, it does not reach the Bayes-optimal rate for any of the considered cases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google