Generalizing Graph Neural Networks on Out-Of-Distribution Graphs

要約

グラフ ニューラル ネットワーク (GNN) は、トレーニング グラフとテスト グラフ間の不可知論的な分布シフトを考慮せずに提案されており、分布外 (OOD) 設定における GNN の汎化能力の低下を引き起こします。
このような劣化の根本的な理由は、ほとんどの GNN が I.I.D 仮説に基づいて開発されていることです。
このような設定では、GNN は、たとえそれが偽の相関であっても、トレーニング セットに存在する微妙な統計的相関を予測のために利用する傾向があります。
ただし、このような偽の相関関係はテスト環境では変化し、GNN の障害につながる可能性があります。
したがって、偽の相関の影響を排除することは、安定した GNN にとって重要です。
この目的を達成するために、StableGNN と呼ばれる一般的な因果表現フレームワークを提案します。
主なアイデアは、最初にグラフ データから高レベルの表現を抽出し、因果推論の識別機能を利用して、モデルが偽の相関関係を取り除くのを支援することです。
特に、グラフ プーリング層を活用して、サブグラフベースの表現を高レベルの表現として抽出します。
さらに、偏ったトレーニング分布を修正するための因果変数識別正則化を提案します。
したがって、GNN は安定した相関にさらに集中します。
合成 OOD グラフ データセットと現実世界の OOD グラフ データセットの両方に対する広範な実験により、提案されたフレームワークの有効性、柔軟性、解釈可能性が十分に検証されています。

要約(オリジナル)

Graph Neural Networks (GNNs) are proposed without considering the agnostic distribution shifts between training and testing graphs, inducing the degeneration of the generalization ability of GNNs on Out-Of-Distribution (OOD) settings. The fundamental reason for such degeneration is that most GNNs are developed based on the I.I.D hypothesis. In such a setting, GNNs tend to exploit subtle statistical correlations existing in the training set for predictions, even though it is a spurious correlation. However, such spurious correlations may change in testing environments, leading to the failure of GNNs. Therefore, eliminating the impact of spurious correlations is crucial for stable GNNs. To this end, we propose a general causal representation framework, called StableGNN. The main idea is to extract high-level representations from graph data first and resort to the distinguishing ability of causal inference to help the model get rid of spurious correlations. Particularly, we exploit a graph pooling layer to extract subgraph-based representations as high-level representations. Furthermore, we propose a causal variable distinguishing regularizer to correct the biased training distribution. Hence, GNNs would concentrate more on the stable correlations. Extensive experiments on both synthetic and real-world OOD graph datasets well verify the effectiveness, flexibility and interpretability of the proposed framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google