A Lipschitz Bandits Approach for Continuous Hyperparameter Optimization

要約

機械学習における最も重要な問題の 1 つは、ハイパーパラメーターの選択が最終モデルのパフォーマンスに大きな影響を与えるため、ハイパーパラメーターの最適化 (HPO) です。
HPO アルゴリズムは多数ありますが、理論的な保証がないか、強い仮定が必要です。
この目的のために、目的関数のリプシッツ連続性のみを仮定する HPO 用のリプシッツ バンディット ベースのアルゴリズムである BLiE を導入します。
BLiE は、目的関数のランドスケープを利用して、ハイパーパラメーター空間を適応的に検索します。
理論的には、$(i)$ BLiE が $\mathcal{O} \left( \epsilon^{-(d_z + \beta)}\right)$ の総予算で $\epsilon$-最適なハイパーパラメータを見つけることが示されます。
$d_z$ と $\beta$ は本質的な問題です。
$(ii)$ BLiE は高度な並列化が可能です。
経験的に、BLiE はベンチマーク タスクにおいて最先端の HPO アルゴリズムよりも優れていることが実証されています。
また、BLiE を適用して拡散モデルのノイズ スケジュールを探索します。
デフォルトのスケジュールと比較すると、BLiE スケジュールによりサンプリング速度が大幅に向上していることがわかります。

要約(オリジナル)

One of the most critical problems in machine learning is HyperParameter Optimization (HPO), since choice of hyperparameters has a significant impact on final model performance. Although there are many HPO algorithms, they either have no theoretical guarantees or require strong assumptions. To this end, we introduce BLiE — a Lipschitz-bandit-based algorithm for HPO that only assumes Lipschitz continuity of the objective function. BLiE exploits the landscape of the objective function to adaptively search over the hyperparameter space. Theoretically, we show that $(i)$ BLiE finds an $\epsilon$-optimal hyperparameter with $\mathcal{O} \left( \epsilon^{-(d_z + \beta)}\right)$ total budgets, where $d_z$ and $\beta$ are problem intrinsic; $(ii)$ BLiE is highly parallelizable. Empirically, we demonstrate that BLiE outperforms the state-of-the-art HPO algorithms on benchmark tasks. We also apply BLiE to search for noise schedule of diffusion models. Comparison with the default schedule shows that BLiE schedule greatly improves the sampling speed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google