Don’t Waste Your Time: Early Stopping Cross-Validation

要約

表形式データに対する最先端の自動機械学習システムは、測定された性能が未知のデータにも一般化されること、あるいは後続のアンサンブルで過剰適合が起こらないことを保証するために、しばしば交差検証を採用している。しかし、ホールドアウト検証の代わりにk-foldクロスバリデーションを使用すると、単一の構成を検証するための計算コストが大幅に増加する。より良い汎化を保証し、ひいてはより良い性能を保証する一方で、追加コストは、時間予算内で効果的なモデルを選択するためには、しばしば禁止事項である。我々は、クロスバリデーションによるモデル選択をより効果的にすることを目的とする。そこで我々は、モデル選択中にクロスバリデーションのプロセスを早期に停止させることを研究する。MLPとランダムフォレストの2つのアルゴリズムについて、36の分類データセットにおけるランダム探索の早期停止の影響を調査する。さらに、3フォールド、5フォールド、10フォールドを考慮して、フォールド数の影響を分析する。さらに、ランダム探索の代わりにベイズ最適化を用いた早期停止と、クロスバリデーションを繰り返した場合の影響も調査する。我々の探索的研究により、理解しやすく実装が簡単な手法であっても、一貫してモデル選択を高速に収束させることができることが示された。さらに、クロスバリデーションを停止することで、1時間以内に平均+167%の構成を考慮することで、モデル選択が探索空間をより網羅的に探索することができ、同時に全体的な性能も向上する。

要約(オリジナル)

State-of-the-art automated machine learning systems for tabular data often employ cross-validation; ensuring that measured performances generalize to unseen data, or that subsequent ensembling does not overfit. However, using k-fold cross-validation instead of holdout validation drastically increases the computational cost of validating a single configuration. While ensuring better generalization and, by extension, better performance, the additional cost is often prohibitive for effective model selection within a time budget. We aim to make model selection with cross-validation more effective. Therefore, we study early stopping the process of cross-validation during model selection. We investigate the impact of early stopping on random search for two algorithms, MLP and random forest, across 36 classification datasets. We further analyze the impact of the number of folds by considering 3-, 5-, and 10-folds. In addition, we investigate the impact of early stopping with Bayesian optimization instead of random search and also repeated cross-validation. Our exploratory study shows that even a simple-to-understand and easy-to-implement method consistently allows model selection to converge faster; in ~94% of all datasets, on average by ~214%. Moreover, stopping cross-validation enables model selection to explore the search space more exhaustively by considering +167% configurations on average within one hour, while also obtaining better overall performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL