When Shift Happens – Confounding Is to Blame

要約

分布シフトは、機械学習モデルの堅牢性と一般化能力を損なう不確実性を導入します。
従来の知恵は、因果不変の表現を学習することでそのような変化に対する堅牢性が向上することを示唆していますが、最近の経験的研究は、直感に反する発見を示しています。
経験的証拠と理論的証拠の両方に基づいて、私たちはこの現象を隠れた交絡に起因します。
隠された交絡のシフトは、既存のOOD一般化アプローチによって一般的に行われた仮定に違反するデータ分布の変化を引き起こします。
このような条件下では、効果的な一般化には、不変の関係だけに依存するのではなく、環境固有の関係を学習する必要があることが証明されます。
さらに、隠された交絡因子のプロキシで増強されたモデルが、隠された交絡シフトによってもたらされる課題を軽減できることを示しています。
これらの調査結果は、堅牢なOOD一般化アルゴリズムと原則的な共変量選択戦略を設計するための新しい理論的洞察と実用的なガイダンスを提供します。

要約(オリジナル)

Distribution shifts introduce uncertainty that undermines the robustness and generalization capabilities of machine learning models. While conventional wisdom suggests that learning causal-invariant representations enhances robustness to such shifts, recent empirical studies present a counterintuitive finding: (i) empirical risk minimization (ERM) can rival or even outperform state-of-the-art out-of-distribution (OOD) generalization methods, and (ii) its OOD generalization performance improves when all available covariates, not just causal ones, are utilized. Drawing on both empirical and theoretical evidence, we attribute this phenomenon to hidden confounding. Shifts in hidden confounding induce changes in data distributions that violate assumptions commonly made by existing OOD generalization approaches. Under such conditions, we prove that effective generalization requires learning environment-specific relationships, rather than relying solely on invariant ones. Furthermore, we show that models augmented with proxies for hidden confounders can mitigate the challenges posed by hidden confounding shifts. These findings offer new theoretical insights and practical guidance for designing robust OOD generalization algorithms and principled covariate selection strategies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google