PriorBand: Practical Hyperparameter Optimization in the Age of Deep Learning

要約

深層学習 (DL) パイプラインのハイパーパラメーターは、ダウンストリームのパフォーマンスにとって重要です。
ハイパーパラメータ最適化 (HPO) の手法は多数開発されていますが、それらのコストがかかるため、現代の DL には耐えられないことがよくあります。
したがって、研究者の直感、ドメイン知識、および安価な予備調査に頼って、手動実験が依然としてハイパーパラメーターを最適化する最も一般的なアプローチです。
HPO アルゴリズムと DL 研究者の間のこの不一致を解決するために、専門家の信念と安価なプロキシ タスクの両方を利用できる DL に合わせた HPO アルゴリズムである PriorBand を提案します。
私たちは経験的に、さまざまな DL ベンチマークにわたる PriorBand の効率を実証し、有益な専門家の意見の下でその利点と、専門家の不十分な信念に対する堅牢性を示します。

要約(オリジナル)

Hyperparameters of Deep Learning (DL) pipelines are crucial for their downstream performance. While a large number of methods for Hyperparameter Optimization (HPO) have been developed, their incurred costs are often untenable for modern DL. Consequently, manual experimentation is still the most prevalent approach to optimize hyperparameters, relying on the researcher’s intuition, domain knowledge, and cheap preliminary explorations. To resolve this misalignment between HPO algorithms and DL researchers, we propose PriorBand, an HPO algorithm tailored to DL, able to utilize both expert beliefs and cheap proxy tasks. Empirically, we demonstrate PriorBand’s efficiency across a range of DL benchmarks and show its gains under informative expert input and robustness against poor expert beliefs

arxiv情報

提供元, 利用サービス

arxiv.jp, Google