It’s an Alignment, Not a Trade-off: Revisiting Bias and Variance in Deep Models

要約

機械学習における古典的な知識では、汎化誤差はバイアスと分散に分解でき、これら 2 つの項は ​​\emph{トレードオフ} を示すと考えられています。
ただし、この論文では、深層学習ベースの分類モデルのアンサンブルでは、バイアスと分散がサンプル レベルで \emph{整列} し、正しく分類されたサンプル点の二乗バイアスが分散とほぼ \emph{等しい} ことを示します。
。
さまざまな深層学習モデルとデータセットでこの現象を確認する経験的証拠を紹介します。
さらに、この現象をキャリブレーションと神経崩壊という 2 つの理論的観点から研究します。
まず、モデルが適切に校正されているという仮定の下で、バイアスと分散の整合が観察できることを理論的に示します。
次に、神経崩壊理論によって提供される図から始めて、バイアスと分散の間のおおよその相関関係を示します。

要約(オリジナル)

Classical wisdom in machine learning holds that the generalization error can be decomposed into bias and variance, and these two terms exhibit a \emph{trade-off}. However, in this paper, we show that for an ensemble of deep learning based classification models, bias and variance are \emph{aligned} at a sample level, where squared bias is approximately \emph{equal} to variance for correctly classified sample points. We present empirical evidence confirming this phenomenon in a variety of deep learning models and datasets. Moreover, we study this phenomenon from two theoretical perspectives: calibration and neural collapse. We first show theoretically that under the assumption that the models are well calibrated, we can observe the bias-variance alignment. Second, starting from the picture provided by the neural collapse theory, we show an approximate correlation between bias and variance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google