Dissecting the Failure of Invariant Learning on Graphs

要約

グラフ上のノードレベルの分布外(OOD)汎化を強化することは、依然として重要な研究分野である。本論文では、構造的因果モデル(Structural Causal Model: SCM)を開発し、ノードレベルOOD設定における2つの著名な不変学習手法–不変リスク最小化(Invariant Risk Minimization: IRM)と分散リスク外挿(Variance-Risk Extrapolation: VREx)–の性能を理論的に解剖する。すなわち、クラス条件付き不変性制約がないため、これらの手法は予測不変エゴグラフの構造を正確に特定するのに苦労し、その結果、偽特徴に依存する可能性がある。この問題に対処するため、我々は、因果パターン構造に関する明示的な知識の必要性を回避し、同じクラスを条件とするクロス環境表現を整列させることにより、スプリアス特徴を明示的に除去する、クロス環境クラス内整列（CIA）を提案する。CIAを環境ラベルの入手が困難なノードレベルのOODシナリオに適応させるために、我々はCIA-LRA(Localized Reweighting Alignment)を提案する。CIA-LRAは、環境ラベルに依存することなく、隣接するラベルの分布を利用して、ノード表現を選択的に整列させる。PAC-ベイズ解析に基づくOOD汎化誤差の境界を導出することで、CIA-LRAの有効性を理論的に証明する。グラフOODベンチマークでの実験により、CIAとCIA-LRAの優位性が検証され、ノードレベルのOOD汎化における重要な進歩が示された。コードはhttps://github.com/NOVAglow646/NeurIPS24-Invariant-Learning-on-Graphs。

要約(オリジナル)

Enhancing node-level Out-Of-Distribution (OOD) generalization on graphs remains a crucial area of research. In this paper, we develop a Structural Causal Model (SCM) to theoretically dissect the performance of two prominent invariant learning methods — Invariant Risk Minimization (IRM) and Variance-Risk Extrapolation (VREx) — in node-level OOD settings. Our analysis reveals a critical limitation: due to the lack of class-conditional invariance constraints, these methods may struggle to accurately identify the structure of the predictive invariant ego-graph and consequently rely on spurious features. To address this, we propose Cross-environment Intra-class Alignment (CIA), which explicitly eliminates spurious features by aligning cross-environment representations conditioned on the same class, bypassing the need for explicit knowledge of the causal pattern structure. To adapt CIA to node-level OOD scenarios where environment labels are hard to obtain, we further propose CIA-LRA (Localized Reweighting Alignment) that leverages the distribution of neighboring labels to selectively align node representations, effectively distinguishing and preserving invariant features while removing spurious ones, all without relying on environment labels. We theoretically prove CIA-LRA’s effectiveness by deriving an OOD generalization error bound based on PAC-Bayesian analysis. Experiments on graph OOD benchmarks validate the superiority of CIA and CIA-LRA, marking a significant advancement in node-level OOD generalization. The codes are available at https://github.com/NOVAglow646/NeurIPS24-Invariant-Learning-on-Graphs.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL