Sharp analysis of out-of-distribution error for ‘importance-weighted’ estimators in the overparameterized regime

要約

ゼロトレーニングエラーを達成する過剰パラメータ化されたモデルは、平均して良好に一般化していることが観察されますが、トレーニングサンプルで過小評価されているデータに直面するとパフォーマンスが低下します。
この研究では、スプリアス特徴が染み込んだオーバーパラメータ化されたガウス混合モデルを研究し、「重要度の重み」を組み込んだコスト重視の内挿ソリューションの分布内および分布外のテスト誤差を鋭く分析します。
Wangらの最近の研究と比較してください。
(2021)、Behnia et al。
(2022) と同様に、私たちの分析は上限と下限の一致によりシャープであり、データの次元に関して必要な仮定を大幅に弱めています。
私たちの誤差の特徴付けは、重要度の重みの任意の選択にも適用され、分布シフトに対する最悪の場合のロバスト性と重要度の重みの大きさの関数としての平均精度との間の新しいトレードオフを明らかにします。

要約(オリジナル)

Overparameterized models that achieve zero training error are observed to generalize well on average, but degrade in performance when faced with data that is under-represented in the training sample. In this work, we study an overparameterized Gaussian mixture model imbued with a spurious feature, and sharply analyze the in-distribution and out-of-distribution test error of a cost-sensitive interpolating solution that incorporates ‘importance weights’. Compared to recent work Wang et al. (2021), Behnia et al. (2022), our analysis is sharp with matching upper and lower bounds, and significantly weakens required assumptions on data dimensionality. Our error characterizations also apply to any choice of importance weights and unveil a novel tradeoff between worst-case robustness to distribution shift and average accuracy as a function of the importance weight magnitude.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google