Blocked Cross-Validation: A Precise and Efficient Method for Hyperparameter Tuning

要約

ハイパーパラメータ調整は、予測学習器のパフォーマンスを最適化する上で重要な役割を果たします。
相互検証 (CV) は、さまざまなハイパーパラメータ設定の誤差を推定するために広く採用されている手法です。
反復相互検証 (RCV) は、CV エラーのばらつきを減らすために一般的に使用されています。
この論文では、ブロック交差検証 (BCV) と呼ばれる新しいアプローチを紹介します。このアプローチでは、CV 分割と学習者のランダムな動作の両方に関して繰り返しがブロックされます。
理論分析と実証実験により、BCV は、実行回数が大幅に減った場合でも、RCV に比べてより正確な誤差推定値が得られることが実証されています。
ハイパーパラメータ調整における BCV の有効性と効率性を示すために、実世界のデータセットを使用した広範な例を示します。
私たちの結果は、BCV がハイパーパラメーター調整において RCV よりも優れており、より少ない計算でより高い精度を達成できることを示しています。

要約(オリジナル)

Hyperparameter tuning plays a crucial role in optimizing the performance of predictive learners. Cross–validation (CV) is a widely adopted technique for estimating the error of different hyperparameter settings. Repeated cross-validation (RCV) has been commonly employed to reduce the variability of CV errors. In this paper, we introduce a novel approach called blocked cross-validation (BCV), where the repetitions are blocked with respect to both CV partition and the random behavior of the learner. Theoretical analysis and empirical experiments demonstrate that BCV provides more precise error estimates compared to RCV, even with a significantly reduced number of runs. We present extensive examples using real–world data sets to showcase the effectiveness and efficiency of BCV in hyperparameter tuning. Our results indicate that BCV outperforms RCV in hyperparameter tuning, achieving greater precision with fewer computations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google