Malign Overfitting: Interpolation Can Provably Preclude Invariance

要約

学習された分類器は、多くの場合、公平性、ロバスト性、分布外汎化を促進するためのある種の不変特性を持つはずである。しかし、最近の複数の研究により、一般的な不変性を誘導する正則化は、分類器が学習データに完全に適合する（すなわち補間する）ようなオーバーパラメータ化領域では効果がないことが実証されている。このことは、「良性のオーバーフィット」という現象が、ロバスト性や公平性が望まれるような場面では好ましくないことを示唆している。 本研究では、このような観察を理論的に正当化する。最も単純な設定においてさえも、（任意に小さなマージンを持つ）補間学習ルールはこれらの不変性特性を満たさないことを証明する。次に、同じ設定において、証明可能な不変性を持つ非補間的分類器の学習に成功するアルゴリズムを提案し、解析する。シミュレーションデータとWaterbirdsデータセットを用いて、我々の理論的観測を検証する。

要約(オリジナル)

Learned classifiers should often possess certain invariance properties meant to encourage fairness, robustness, or out-of-distribution generalization. However, multiple recent works empirically demonstrate that common invariance-inducing regularizers are ineffective in the over-parameterized regime, in which classifiers perfectly fit (i.e. interpolate) the training data. This suggests that the phenomenon of ‘benign overfitting’, in which models generalize well despite interpolating, might not favorably extend to settings in which robustness or fairness are desirable. In this work we provide a theoretical justification for these observations. We prove that — even in the simplest of settings — any interpolating learning rule (with arbitrarily small margin) will not satisfy these invariance properties. We then propose and analyze an algorithm that — in the same setting — successfully learns a non-interpolating classifier that is provably invariant. We validate our theoretical observations on simulated data and the Waterbirds dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL