Fast Computation of Leave-One-Out Cross-Validation for $k$-NN Regression

要約

$k$-最近傍 ($k$-NN) 回帰の Leave-one-out 相互検証 (LOOCV) の高速計算方法について説明します。
最近傍のタイブレーク条件下では、 $k$-NN 回帰の平均二乗誤差の LOOCV 推定値は、
トレーニング データにスケーリング係数 $(k+1)^2/k^2$ を乗算します。
したがって、LOOCV スコアを計算するには、$(k+1)$-NN 回帰を 1 回適合するだけでよく、学習データの数だけ $k$-NN 回帰の学習検証を繰り返す必要はありません。
数値実験により、高速計算法の有効性が確認されました。

要約(オリジナル)

We describe a fast computation method for leave-one-out cross-validation (LOOCV) for $k$-nearest neighbours ($k$-NN) regression. We show that, under a tie-breaking condition for nearest neighbours, the LOOCV estimate of the mean square error for $k$-NN regression is identical to the mean square error of $(k+1)$-NN regression evaluated on the training data, multiplied by the scaling factor $(k+1)^2/k^2$. Therefore, to compute the LOOCV score, one only needs to fit $(k+1)$-NN regression only once, and does not need to repeat training-validation of $k$-NN regression for the number of training data. Numerical experiments confirm the validity of the fast computation method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google