Scalable Out-of-distribution Robustness in the Presence of Unobserved Confounders

要約

分布外 (OOD) 一般化のタスクを考えます。分布のシフトは、共変量 ($X$) とラベル ($Y$) の両方に影響を与える観察されていない交絡因子 ($Z$) によるものです。
この設定では、共変量とラベル シフトの従来の仮定は、予測子に不均一性をもたらす交絡のため不適切です (つまり $\hat{Y} = f_Z(X)$)。
OOD 一般化は、トレーニング中にテスト サンプルの共変量分布 ($X^\text{te}$) へのアクセスを想定しない点で、従来のドメイン適応とは異なります。
これらの条件により、OOD の堅牢性にとって困難なシナリオが作成されます。(a) $Z^\text{tr}$ はトレーニング中に観察されない交絡因子である、(b) $P^\text{te}{Z} \neq P^\text{
tr}{Z}$、(c) $X^\text{te}$ はトレーニング中に利用できず、(d) 事後予測分布は $P^\text{te}(Z)$ に依存します。つまり、
$\hat{Y} = E_{P^\text{te}(Z)}[f_Z(X)]$。
一般に、このシナリオでは正確な予測は達成できず、既存の文献では、複数の追加変数を必要とする識別可能性の仮定に基づく複雑な予測子が提案されています。
私たちの研究では、予測子を大幅に単純化する一連の識別可能性の仮定を調査しており、その結果として得られる洗練された単純さは既存のアプローチを上回ります。

要約(オリジナル)

We consider the task of out-of-distribution (OOD) generalization, where the distribution shift is due to an unobserved confounder ($Z$) affecting both the covariates ($X$) and the labels ($Y$). In this setting, traditional assumptions of covariate and label shift are unsuitable due to the confounding, which introduces heterogeneity in the predictor, i.e., $\hat{Y} = f_Z(X)$. OOD generalization differs from traditional domain adaptation by not assuming access to the covariate distribution ($X^\text{te}$) of the test samples during training. These conditions create a challenging scenario for OOD robustness: (a) $Z^\text{tr}$ is an unobserved confounder during training, (b) $P^\text{te}{Z} \neq P^\text{tr}{Z}$, (c) $X^\text{te}$ is unavailable during training, and (d) the posterior predictive distribution depends on $P^\text{te}(Z)$, i.e., $\hat{Y} = E_{P^\text{te}(Z)}[f_Z(X)]$. In general, accurate predictions are unattainable in this scenario, and existing literature has proposed complex predictors based on identifiability assumptions that require multiple additional variables. Our work investigates a set of identifiability assumptions that tremendously simplify the predictor, whose resulting elegant simplicity outperforms existing approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google