Bayesian Optimization Over Iterative Learners with Structured Responses: A Budget-aware Planning Approach

要約

ディープ ニューラル ネットワーク (DNN) とデータセットの規模が拡大しているため、モデルの選択とトレーニングを同時に行うための効率的なソリューションの必要性が高まっています。
DNN を含む反復学習器のハイパーパラメーター最適化 (HPO) の多くの方法は、応答曲面のクエリと学習を行いながら、その曲面の最適値を検索することで、この問題を解決しようとします。
ただし、これらの方法の多くは、近視眼的なクエリを作成したり、応答構造に関する事前知識を考慮したり、偏ったコスト認識検索を実行したりします。これらはすべて、総コスト予算が指定されている場合に最適なモデルを特定することを悪化させます。
この論文では、{\bf B}udget-{\bf A}ware {\bf I}terative Learners (BAPI) 向けのプランニングと呼ばれる新しいアプローチを提案し、制約のあるコスト予算の下で HPO の問題を解決します。
BAPI は効率的な近視眼的ではないベイジアン最適化ソリューションであり、予算を考慮し、目的関数とコスト関数に関する事前知識を活用して、より適切な構成を選択し、評価 (トレーニング) 中により多くの情報に基づいた意思決定を行います。
反復学習者向けのさまざまな HPO ベンチマークに関する実験では、ほとんどの場合、BAPI が最先端のベースラインよりも優れたパフォーマンスを発揮することが示されています。

要約(オリジナル)

The rising growth of deep neural networks (DNNs) and datasets in size motivates the need for efficient solutions for simultaneous model selection and training. Many methods for hyperparameter optimization (HPO) of iterative learners, including DNNs, attempt to solve this problem by querying and learning a response surface while searching for the optimum of that surface. However, many of these methods make myopic queries, do not consider prior knowledge about the response structure, and/or perform a biased cost-aware search, all of which exacerbate identifying the best-performing model when a total cost budget is specified. This paper proposes a novel approach referred to as {\bf B}udget-{\bf A}ware {\bf P}lanning for {\bf I}terative Learners (BAPI) to solve HPO problems under a constrained cost budget. BAPI is an efficient non-myopic Bayesian optimization solution that accounts for the budget and leverages the prior knowledge about the objective function and cost function to select better configurations and to take more informed decisions during the evaluation (training). Experiments on diverse HPO benchmarks for iterative learners show that BAPI performs better than state-of-the-art baselines in most cases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google