Statistical Learning under Heterogenous Distribution Shift

要約

この論文では、確率変数 $(\mathbf{x},\mathbf{y})$ のペアからのターゲット $\mathbf{z}$ の予測を研究します。ここで、グラウンド トゥルース予測子は加法的 $\mathbb{E
}[\mathbf{z} \mid \mathbf{x},\mathbf{y}] = f_\star(\mathbf{x}) +g_{\star}(\mathbf{y})$.
関数 $f+g$、$f \in \mathcal{F}$、および $g \in \mathcal{G}$ に対する経験的リスク最小化 (ERM) のパフォーマンスを調べます。
共変量シフトを示すテスト分布。
クラス $\mathcal{F}$ が $\mathcal{G}$ よりも「単純」である場合 (たとえば、そのメトリック エントロピーで測定)、予測子は \emph{異種共変量に対してより回復力があることを示します。
$\mathbf{x}$ のシフトが $\mathbf{y}$ のシフトよりもはるかに大きいシフト}。
これらの結果は、ダドリー積分に対する新しい H\’older スタイルの不等式に依存しています。
さらに、多くのドメインにわたる「より単純な」機能の変化に対する回復力の向上を示す実験で、理論的発見を裏付けています。

要約(オリジナル)

This paper studies the prediction of a target $\mathbf{z}$ from a pair of random variables $(\mathbf{x},\mathbf{y})$, where the ground-truth predictor is additive $\mathbb{E}[\mathbf{z} \mid \mathbf{x},\mathbf{y}] = f_\star(\mathbf{x}) +g_{\star}(\mathbf{y})$. We study the performance of empirical risk minimization (ERM) over functions $f+g$, $f \in \mathcal{F}$ and $g \in \mathcal{G}$, fit on a given training distribution, but evaluated on a test distribution which exhibits covariate shift. We show that, when the class $\mathcal{F}$ is ‘simpler’ than $\mathcal{G}$ (measured, e.g., in terms of its metric entropy), our predictor is more resilient to \emph{heterogenous covariate shifts} in which the shift in $\mathbf{x}$ is much greater than that in $\mathbf{y}$. These results rely on a novel H\’older style inequality for the Dudley integral which may be of independent interest. Moreover, we corroborate our theoretical findings with experiments demonstrating improved resilience to shifts in ‘simpler’ features across numerous domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google