Generalization of Graph Neural Networks is Robust to Model Mismatch

要約

グラフ ニューラル ネットワーク (GNN) は、一般化機能によってサポートされるさまざまなタスクでその有効性を実証しています。
ただし、GNN 一般化の現在の分析は、トレーニング データとテスト データが独立しており、同一に分散されている (i.i.d) という仮定に依存しています。
これにより、テスト データの生成時にモデルの不一致が存在する場合に制限が課されます。
この論文では、多様体モデルから生成された幾何学グラフ上で動作する GNN を検証し、トレーニング データとテスト データを生成する多様体モデル間に不一致があるシナリオに明示的に焦点を当てます。
私たちの分析により、このようなモデルの不一致が存在する場合の GNN 一般化の堅牢性が明らかになりました。
これは、多様体から生成されたグラフで訓練された GNN が、不一致多様体から生成された目に見えないノードやグラフに対しても適切に一般化できることを示しています。
この不一致は、生成されたグラフ内のノード フィーチャの摂動とエッジの摂動の両方に起因すると考えられます。
私たちの調査結果は、汎化ギャップはトレーニング グラフ内のノードの数が増加するにつれて減少する一方、多様体の次元が大きくなり不一致が大きくなると増加することを示しています。
重要なのは、GNN の一般化と、モデルの不一致に直面したときに高周波成分を識別する機能との間にトレードオフがあることが観察されたことです。
この分析の最も重要な実際的な結果は、モデルの不一致に対して堅牢な一般化可能な GNN のフィルター設計に光を当てることです。
複数の実世界のデータセットを用いた実験により、理論上の発見を検証します。

要約(オリジナル)

Graph neural networks (GNNs) have demonstrated their effectiveness in various tasks supported by their generalization capabilities. However, the current analysis of GNN generalization relies on the assumption that training and testing data are independent and identically distributed (i.i.d). This imposes limitations on the cases where a model mismatch exists when generating testing data. In this paper, we examine GNNs that operate on geometric graphs generated from manifold models, explicitly focusing on scenarios where there is a mismatch between manifold models generating training and testing data. Our analysis reveals the robustness of the GNN generalization in the presence of such model mismatch. This indicates that GNNs trained on graphs generated from a manifold can still generalize well to unseen nodes and graphs generated from a mismatched manifold. We attribute this mismatch to both node feature perturbations and edge perturbations within the generated graph. Our findings indicate that the generalization gap decreases as the number of nodes grows in the training graph while increasing with larger manifold dimension as well as larger mismatch. Importantly, we observe a trade-off between the generalization of GNNs and the capability to discriminate high-frequency components when facing a model mismatch. The most important practical consequence of this analysis is to shed light on the filter design of generalizable GNNs robust to model mismatch. We verify our theoretical findings with experiments on multiple real-world datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google