Classical Statistical (In-Sample) Intuitions Don’t Generalize Well: A Note on Bias-Variance Tradeoffs, Overfitting and Moving from Fixed to Random Designs

要約

二重降下や良性の過剰適合などの最新の機械学習 (ML) 現象が突然出現したことで、古典的な訓練を受けた多くの統計学者は不安を感じるかもしれません。これらの現象は、データからの学習に関する入門クラスで伝えられる統計的直観の核心に反しているように見えます。
このような現象がこれまで歴史的に観察されていなかったのは、通常、今日のより複雑な ML 手法、過剰パラメータ化、補間、および/またはより高いデータ次元への依存に起因すると考えられます。
このノートでは、古典的な統計の教科書で教えられる直観とは相反するように見える行動が今日観察される別の理由があることを示します。これは理解するのがはるかに簡単ですが、明示的に議論されることはほとんどありません。
特に、多くの直観は固定設計設定に由来しており、その場合、サンプル内予測誤差 (ノイズの多い結果のリサンプリング下) が重要ですが、最新の ML は一般化誤差、つまりサンプル外予測誤差の観点から予測を評価します。
ランダムなデザイン。
ここでは、固定計画からランダム計画へのこの単純な移行が、バイアスと分散のトレードオフに関する教科書的な直観に (おそらく驚くべきことに) 広範囲にわたる影響を及ぼしていることを強調し、その結果生じる二重降下と良性の過剰適合が観察される (不可能な) 可能性についてコメントします。
固定デザインとランダムデザイン。

要約(オリジナル)

The sudden appearance of modern machine learning (ML) phenomena like double descent and benign overfitting may leave many classically trained statisticians feeling uneasy — these phenomena appear to go against the very core of statistical intuitions conveyed in any introductory class on learning from data. The historical lack of earlier observation of such phenomena is usually attributed to today’s reliance on more complex ML methods, overparameterization, interpolation and/or higher data dimensionality. In this note, we show that there is another reason why we observe behaviors today that appear at odds with intuitions taught in classical statistics textbooks, which is much simpler to understand yet rarely discussed explicitly. In particular, many intuitions originate in fixed design settings, in which in-sample prediction error (under resampling of noisy outcomes) is of interest, while modern ML evaluates its predictions in terms of generalization error, i.e. out-of-sample prediction error in random designs. Here, we highlight that this simple move from fixed to random designs has (perhaps surprisingly) far-reaching consequences on textbook intuitions relating to the bias-variance tradeoff, and comment on the resulting (im)possibility of observing double descent and benign overfitting in fixed versus random designs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google