Causal-aware Graph Neural Architecture Search under Distribution Shifts

要約

グラフ NAS は、グラフとアーキテクチャ間の相関関係を活用して GNN アーキテクチャを自律的に設計するための有望なアプローチとして浮上しました。
既存の手法は、実世界のグラフ シナリオで遍在する分布シフトの下では一般化できません。主な理由は、既存の手法が利用するグラフ アーキテクチャの相関関係が偽であり、分布全体で異なる可能性があるためです。
グラフとアーキテクチャの間の因果関係を発見して利用し、分布の変化の下で一般化できる最適なアーキテクチャを探索することにより、グラフ アーキテクチャの検索プロセスにおける分布の変化に対処することを提案します。
この問題は、分布全体にわたって安定した予測能力を持つ因果関係のグラフとアーキテクチャの関係をどのように発見するか、発見された因果関係のグラフとアーキテクチャの関係を使用して分布の変化を処理して一般化されたグラフ アーキテクチャを探索する方法という課題が残されており、未解明のままです。
これらの課題に対処するために、我々は Causal-aware Graph Neural Architecture Search (CARNAS) を提案します。これは、アーキテクチャ検索プロセス中に因果関係のあるグラフとアーキテクチャの関係を捕捉し、分布の変化の下で一般化されたグラフ アーキテクチャを発見することができます。
具体的には、分布全体にわたって安定した予測能力を持つ因果サブグラフを捕捉するための、もつれの解けた因果サブグラフ識別を提案します。
次に、潜在空間内の因果サブグラフに介入するグラフ埋め込み介入を提案します。これにより、非因果要素を排除しながら、これらのサブグラフが予測に不可欠な特徴を確実にカプセル化します。
さらに、因果サブグラフの因果不変性を強化するために、一般化されたグラフ アーキテクチャを調整するために利用される不変アーキテクチャのカスタマイズを提案します。
広範な実験により、CARNAS が高度な配布外一般化能力を達成していることが実証されています。

要約(オリジナル)

Graph NAS has emerged as a promising approach for autonomously designing GNN architectures by leveraging the correlations between graphs and architectures. Existing methods fail to generalize under distribution shifts that are ubiquitous in real-world graph scenarios, mainly because the graph-architecture correlations they exploit might be spurious and varying across distributions. We propose to handle the distribution shifts in the graph architecture search process by discovering and exploiting the causal relationship between graphs and architectures to search for the optimal architectures that can generalize under distribution shifts. The problem remains unexplored with following challenges: how to discover the causal graph-architecture relationship that has stable predictive abilities across distributions, and how to handle distribution shifts with the discovered causal graph-architecture relationship to search the generalized graph architectures. To address these challenges, we propose Causal-aware Graph Neural Architecture Search (CARNAS), which is able to capture the causal graph-architecture relationship during the architecture search process and discover the generalized graph architecture under distribution shifts. Specifically, we propose Disentangled Causal Subgraph Identification to capture the causal subgraphs that have stable prediction abilities across distributions. Then, we propose Graph Embedding Intervention to intervene on causal subgraphs within the latent space, ensuring that these subgraphs encapsulate essential features for prediction while excluding non-causal elements. Additionally, we propose Invariant Architecture Customization to reinforce the causal invariant nature of the causal subgraphs, which are utilized to tailor generalized graph architectures. Extensive experiments demonstrate that CARNAS achieves advanced out-of-distribution generalization ability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google