Quantifying the Optimization and Generalization Advantages of Graph Neural Networks Over Multilayer Perceptrons

要約

グラフニューラルネットワーク（GNNS）は、グラフ構造データから学習する際に顕著な機能を実証しており、多くの場合、多数のグラフベースのタスクで従来の多層パーセプトロン（MLP）を上回ることがよくあります。
既存の作品は、ラプラシアンの平滑化、表現性、または分離性によるグラフ畳み込みの利点を実証していますが、GNNとMLPを最適化と一般化の観点から比較する定量分析の欠如が残っています。
この研究の目的は、特徴学習理論を通じてグラフ畳み込みの役割を調べることにより、このギャップに対処することを目的としています。
Signal-Noiseデータモデルを使用して、2層グラフ畳み込みネットワーク（GCNS）とそのMLPカウンターパートの間の最適化と一般化の比較分析を実施します。
私たちのアプローチは、GNNSの信号学習と騒音記憶の軌跡を追跡し、トレーニング後の一般化を特徴付けます。
GNNSは信号学習を大幅に優先順位付けし、MLPを超える{低テストエラー}のレジームを$ d^{q-2} $ $を強化することを明らかにします。
この発見は、最適化と一般化の観点からGNNとMLPの間の実質的かつ定量的な矛盾を強調しています。これは、合成データセットと実際のデータセットの両方での経験的シミュレーションによってさらにサポートされている結論です。

要約(オリジナル)

Graph neural networks (GNNs) have demonstrated remarkable capabilities in learning from graph-structured data, often outperforming traditional Multilayer Perceptrons (MLPs) in numerous graph-based tasks. Although existing works have demonstrated the benefits of graph convolution through Laplacian smoothing, expressivity or separability, there remains a lack of quantitative analysis comparing GNNs and MLPs from an optimization and generalization perspective. This study aims to address this gap by examining the role of graph convolution through feature learning theory. Using a signal-noise data model, we conduct a comparative analysis of the optimization and generalization between two-layer graph convolutional networks (GCNs) and their MLP counterparts. Our approach tracks the trajectory of signal learning and noise memorization in GNNs, characterizing their post-training generalization. We reveal that GNNs significantly prioritize signal learning, thus enhancing the regime of {low test error} over MLPs by $D^{q-2}$ times, where $D$ denotes a node’s expected degree and $q$ is the power of ReLU activation function with $q>2$. This finding highlights a substantial and quantitative discrepancy between GNNs and MLPs in terms of optimization and generalization, a conclusion further supported by our empirical simulations on both synthetic and real-world datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google