Analysis of Interpolating Regression Models and the Double Descent Phenomenon

要約

タイトル：内挿回帰モデルとダブルディセント現象の解析
要約：
– 訓練データの数よりも多いパラメータを持つ回帰モデルは、過剰適合が起こり、訓練データを内挿する能力を持つ。
– ノイズのある訓練データを内挿するモデルは、一般化性能が悪いものだとされるが、必ずしもそうではない。
– 最小二乗法の最小ノルム解から導出された内挿モデルと、リッジ回帰を用いたモデルに着目し、ダブルディセント現象を解析する。
– ダブルディセント現象の原因として、回帰行列の最小特異値の振る舞いがあることを示し、モデル次数を変化させた時のテスト誤差のピーク位置とダブルディセントの形状を説明する。

要約(オリジナル)

A regression model with more parameters than data points in the training data is overparametrized and has the capability to interpolate the training data. Based on the classical bias-variance tradeoff expressions, it is commonly assumed that models which interpolate noisy training data are poor to generalize. In some cases, this is not true. The best models obtained are overparametrized and the testing error exhibits the double descent behavior as the model order increases. In this contribution, we provide some analysis to explain the double descent phenomenon, first reported in the machine learning literature. We focus on interpolating models derived from the minimum norm solution to the classical least-squares problem and also briefly discuss model fitting using ridge regression. We derive a result based on the behavior of the smallest singular value of the regression matrix that explains the peak location and the double descent shape of the testing error as a function of model order.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI