Causal Invariance Learning via Efficient Optimization of a Nonconvex Objective

要約

複数の環境からのデータは、変数間の因果関係を明らかにする貴重な機会を提供します。
因果的結果モデルが異種環境間で不変であるという仮定を利用して、最先端の方法は、不変予測モデルを学習することによって因果的結果モデルを特定しようとし、すべての（指数関数的に多くの）共変量サブセットにわたる網羅的な検索に依存します。
これらのアプローチには 2 つの大きな課題があります。1) 不変予測モデルが因果結果モデルと一致する条件を決定すること、2) 共変量の数に応じて指数関数的ではなく多項式にスケールする計算効率の高い因果発見アルゴリズムを考案することです。
両方の課題に対処するために、私たちは追加的介入レジームに焦点を当て、不変予測モデルが因果結果モデルと一致することを保証するためのほぼ必要十分な条件を提案します。
本質的に必要な識別可能性条件を利用して、グローバル オプティマイザが因果関係の結果モデルを回復する非凸連続ミニマックス最適化である、Negative Weight Distributionally Robust Optimization (NegDRO) を導入します。
シンプレックス上で最大化する標準的なグループ DRO 問題とは異なり、NegDRO では環境損失に負の重みを付けることができ、これにより凸面性が崩れます。
非凸性にもかかわらず、標準的な勾配法が因果結果モデルに収束することを実証し、サンプル サイズと反復回数に関する収束率を確立します。
私たちのアルゴリズムは徹底的な検索を回避し、特に共変量の数が多い場合にスケーラブルになります。
数値結果は、提案された方法の効率をさらに検証します。

要約(オリジナル)

Data from multiple environments offer valuable opportunities to uncover causal relationships among variables. Leveraging the assumption that the causal outcome model remains invariant across heterogeneous environments, state-of-the-art methods attempt to identify causal outcome models by learning invariant prediction models and rely on exhaustive searches over all (exponentially many) covariate subsets. These approaches present two major challenges: 1) determining the conditions under which the invariant prediction model aligns with the causal outcome model, and 2) devising computationally efficient causal discovery algorithms that scale polynomially, instead of exponentially, with the number of covariates. To address both challenges, we focus on the additive intervention regime and propose nearly necessary and sufficient conditions for ensuring that the invariant prediction model matches the causal outcome model. Exploiting the essentially necessary identifiability conditions, we introduce Negative Weight Distributionally Robust Optimization (NegDRO), a nonconvex continuous minimax optimization whose global optimizer recovers the causal outcome model. Unlike standard group DRO problems that maximize over the simplex, NegDRO allows negative weights on environment losses, which break the convexity. Despite its nonconvexity, we demonstrate that a standard gradient method converges to the causal outcome model, and we establish the convergence rate with respect to the sample size and the number of iterations. Our algorithm avoids exhaustive search, making it scalable especially when the number of covariates is large. The numerical results further validate the efficiency of the proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google