Improving Multi-fidelity Optimization with a Recurring Learning Rate for Hyperparameter Tuning

要約

畳み込みニューラル ネットワーク (CNN) の進化にもかかわらず、そのパフォーマンスは驚くほどハイパーパラメーターの選択に依存しています。
ただし、最新の CNN のトレーニング時間が長いため、大規模なハイパーパラメーター検索スペースを効率的に探索することは依然として困難です。
マルチフィデリティ最適化により、見込みのない構成を早期に終了することで、予算を考慮してより多くのハイパーパラメータ構成を探索できます。
ただし、パフォーマンスの高い構成を使用したトレーニングは通常、初期段階でゆっくりと収束するため、最適ではない構成を選択する結果になることがよくあります。
この論文では、CNNの最適化プロセスをマルチフィデリティ最適化に組み込む反復学習率（MORL）によるマルチフィデリティ最適化を提案します。
MORL はスロースターターの問題を軽減し、より正確な低忠実度近似を実現します。
一般的な画像分類、転移学習、半教師あり学習に関する包括的な実験により、逐次半減アルゴリズム (SHA) やハイパーバンドなどの他の多忠実度最適化手法よりも MORL の有効性が実証されています。
さらに、実際の予算内で手動で調整されたハイパーパラメーター構成よりも大幅なパフォーマンスの向上を実現します。

要約(オリジナル)

Despite the evolution of Convolutional Neural Networks (CNNs), their performance is surprisingly dependent on the choice of hyperparameters. However, it remains challenging to efficiently explore large hyperparameter search space due to the long training times of modern CNNs. Multi-fidelity optimization enables the exploration of more hyperparameter configurations given budget by early termination of unpromising configurations. However, it often results in selecting a sub-optimal configuration as training with the high-performing configuration typically converges slowly in an early phase. In this paper, we propose Multi-fidelity Optimization with a Recurring Learning rate (MORL) which incorporates CNNs’ optimization process into multi-fidelity optimization. MORL alleviates the problem of slow-starter and achieves a more precise low-fidelity approximation. Our comprehensive experiments on general image classification, transfer learning, and semi-supervised learning demonstrate the effectiveness of MORL over other multi-fidelity optimization methods such as Successive Halving Algorithm (SHA) and Hyperband. Furthermore, it achieves significant performance improvements over hand-tuned hyperparameter configuration within a practical budget.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google