Pruning Spurious Subgraphs for Graph Out-of-Distribtuion Generalization

要約

グラフニューラルネットワーク（GNNS）は、トレーニングとテストデータの間の分布シフトで大幅なパフォーマンスの劣化に遭遇し、実際のシナリオでの適用性を妨げます。
最近の研究では、分散除外一般化の課題に対処するためのさまざまな方法が提案されており、グラフドメイン内の多くの方法がターゲットラベルを予測する不変サブグラフを直接識別することに焦点を当てています。
ただし、特にいくつかの偽のエッジがターゲットと強い相関関係を示す場合、不変サブグラフからのエッジを直接識別することは挑戦的でエラーが発生しやすいと主張します。
このホワイトペーパーでは、スプリアスエッジを排除してOODの一般化可能性を向上させる最初のプルーニングベースのグラフOODメソッドであるPruneを提案します。
プルーニングエッジを剪定することにより、プルーンは不変サブグラフをより包括的に保持します。これは、OOD一般化にとって重要です。
具体的には、Pruneは2つの正規化用語を使用してスプリアスエッジをプルネットします。1）グラフサイズの制約は、情報のないスプリアスエッジを除外し、2）$ \ epsilon $プロビーズアライメントを除外して、偽のエッジの発生をさらに抑制します。
理論分析と広範な実験を通じて、Pruneは優れたOODパフォーマンスを達成し、以前の最先端の方法を大幅に上回ることを示します。
コードは、\ href {https://github.com/tianyao-aka/prune-graphood} {https://github.com/tianyao-aka/prune-graphood}で入手できます。

要約(オリジナル)

Graph Neural Networks (GNNs) often encounter significant performance degradation under distribution shifts between training and test data, hindering their applicability in real-world scenarios. Recent studies have proposed various methods to address the out-of-distribution generalization challenge, with many methods in the graph domain focusing on directly identifying an invariant subgraph that is predictive of the target label. However, we argue that identifying the edges from the invariant subgraph directly is challenging and error-prone, especially when some spurious edges exhibit strong correlations with the targets. In this paper, we propose PrunE, the first pruning-based graph OOD method that eliminates spurious edges to improve OOD generalizability. By pruning spurious edges, PrunE retains the invariant subgraph more comprehensively, which is critical for OOD generalization. Specifically, PrunE employs two regularization terms to prune spurious edges: 1) graph size constraint to exclude uninformative spurious edges, and 2) $\epsilon$-probability alignment to further suppress the occurrence of spurious edges. Through theoretical analysis and extensive experiments, we show that PrunE achieves superior OOD performance and outperforms previous state-of-the-art methods significantly. Codes are available at: \href{https://github.com/tianyao-aka/PrunE-GraphOOD}{https://github.com/tianyao-aka/PrunE-GraphOOD}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google