A Lipschitz Bandits Approach for Continuous Hyperparameter Optimization

要約

タイトル：連続的なハイパーパラメータ最適化のリプシッツバンディットアプローチ
要約：
– 機械学習において最も重要な問題の1つは、ハイパーパラメータ最適化（HPO）であり、ハイパーパラメータの選択は最終的なモデルの性能に重大な影響を与える。
– 多くのHPOアルゴリズムが存在するが、それらは理論的な保証がないか、強い仮定が必要である。
– そこで、リプシッツ連続性を仮定するLipschitzバンディットアルゴリズムであるBLiEを提案する。
– BLiEは目的関数のランドスケープを利用して、ハイパーパラメータ空間を適応的に探索する。
– 理論的に、BLiEは、$d_z$と$\beta$が問題の固有量であるとき、$O \left( \frac{1}{\epsilon} \right)^{d_z + \beta}$の総バジェットで$\epsilon$-最適なハイパーパラメータを見つけることができることを示している。
– BLiEは高度に並列化できる。
– 実験的には、BLiEがベンチマークタスクで最先端のHPOアルゴリズムを上回ることを示した。
– BLiEは拡散モデルのノイズスケジュールを探索するためにも適用され、デフォルトスケジュールと比較して、BLiEスケジュールがサンプリング速度を大幅に改善することを示した。

要約(オリジナル)

One of the most critical problems in machine learning is HyperParameter Optimization (HPO), since choice of hyperparameters has a significant impact on final model performance. Although there are many HPO algorithms, they either have no theoretical guarantees or require strong assumptions. To this end, we introduce BLiE — a Lipschitz-bandit-based algorithm for HPO that only assumes Lipschitz continuity of the objective function. BLiE exploits the landscape of the objective function to adaptively search over the hyperparameter space. Theoretically, we show that $(i)$ BLiE finds an $\epsilon$-optimal hyperparameter with $O \left( \frac{1}{\epsilon} \right)^{d_z + \beta}$ total budgets, where $d_z$ and $\beta$ are problem intrinsic; $(ii)$ BLiE is highly parallelizable. Empirically, we demonstrate that BLiE outperforms the state-of-the-art HPO algorithms on benchmark tasks. We also apply BLiE to search for noise schedule of diffusion models. Comparison with the default schedule shows that BLiE schedule greatly improves the sampling speed.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI