Put CASH on Bandits: A Max K-Armed Problem for Automated Machine Learning

要約

組み合わせたアルゴリズムの選択とハイパーパラメーターの最適化（現金）は、Automlの分野での挑戦的なリソース割り当ての問題です。
Maxucbは、さまざまなモデルクラスの探索とハイパーパラメーターの最適化を実施するためのトレードオフをオフにするために、Maxucbを提案します。
Maxucbは、この設定で発生するライトテールと境界のある報酬分布用に特別に設計されているため、重い尾の報酬分布を想定して、古典的なMax $ k $ armed Banditメソッドと比較して効率的な代替手段を提供します。
私たちは、4つの標準的なAutomlベンチマークでの方法を理論的および経験的に評価し、以前のアプローチよりも優れたパフォーマンスを示しています。

要約(オリジナル)

The Combined Algorithm Selection and Hyperparameter optimization (CASH) is a challenging resource allocation problem in the field of AutoML. We propose MaxUCB, a max $k$-armed bandit method to trade off exploring different model classes and conducting hyperparameter optimization. MaxUCB is specifically designed for the light-tailed and bounded reward distributions arising in this setting and, thus, provides an efficient alternative compared to classic max $k$-armed bandit methods assuming heavy-tailed reward distributions. We theoretically and empirically evaluate our method on four standard AutoML benchmarks, demonstrating superior performance over prior approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google