The Implicit Bias of Benign Overfitting

要約

タイトル：Benign OverfittingのImplicit Bias

要約：
– Benign overfittingとは、訓練データに完璧に適合し、ほぼ最適な期待損失を達成する予測器の現象であり、近年注目を集めていますが、線形回帰設定以外についてはよく理解されていません。
– 本論文では、線形回帰と分類タスクの両方において、Benign overfittingが発生するかどうかを予測するための新しい結果をいくつか提供しています。
– 線形回帰に対しては、高次元分布とどのように接続されるかによってbenign overfittingの形式的なプロトタイプを考慮し、一般に最小ノルム補間予測子が一貫性のない解にバイアスされるため、benign overfittingは一般的に発生しないことを示します。
– 分類問題については、max-margin予測子が加重二乗ヒンジ損失を最小化する方向に収束することが知られていることから、benign overfittingを簡単な問題に帰着させることができることを示します。また、新しい状況においてbenign overfittingが発生することを示すために、この損失が誤分類エラーの良い代替になるかどうかを判断することができます。

要約(オリジナル)

The phenomenon of benign overfitting, where a predictor perfectly fits noisy training data while attaining near-optimal expected loss, has received much attention in recent years, but still remains not fully understood beyond well-specified linear regression setups. In this paper, we provide several new results on when one can or cannot expect benign overfitting to occur, for both regression and classification tasks. We consider a prototypical and rather generic data model for benign overfitting of linear predictors, where an arbitrary input distribution of some fixed dimension $k$ is concatenated with a high-dimensional distribution. For linear regression which is not necessarily well-specified, we show that the minimum-norm interpolating predictor (that standard training methods converge to) is biased towards an inconsistent solution in general, hence benign overfitting will generally not occur. Moreover, we show how this can be extended beyond standard linear regression, by an argument proving how the existence of benign overfitting on some regression problems precludes its existence on other regression problems. We then turn to classification problems, and show that the situation there is much more favorable. Specifically, we prove that the max-margin predictor (to which standard training methods are known to converge in direction) is asymptotically biased towards minimizing a weighted \emph{squared hinge loss}. This allows us to reduce the question of benign overfitting in classification to the simpler question of whether this loss is a good surrogate for the misclassification error, and use it to show benign overfitting in some new settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI