Optimizing Hyperparameters with Conformal Quantile Regression

要約

タイトル：Conformal Quantile Regressionを用いたハイパーパラメータ最適化

要約：
– 最新のハイパーパラメータ最適化アルゴリズムの多くは、検索を導くためにターゲット関数のサロゲートモデルを学習するモデルベースの最適化器に依存している。
– 不確実性を捕捉する能力のため、ガウス過程は実践的でない観察ノイズについて強い仮定をするため、デファクトのサロゲートモデルである。
– この研究では、観察ノイズについて最小限の仮定をするConformalized Quantile Regressionを活用することを提案し、より現実的で堅牢な方法でターゲット関数をモデル化する。これは経験的なベンチマークでのHPO収束の速さに翻訳される。
– マルチフィデリティ環境で当該方法を適用するために、異なるリソースレベルで観測された結果を集計する単純で効果的な技術を提案し、多くの経験的なタスクで従来の方法を上回る結果を出した。

要約(オリジナル)

Many state-of-the-art hyperparameter optimization (HPO) algorithms rely on model-based optimizers that learn surrogate models of the target function to guide the search. Gaussian processes are the de facto surrogate model due to their ability to capture uncertainty but they make strong assumptions about the observation noise, which might not be warranted in practice. In this work, we propose to leverage conformalized quantile regression which makes minimal assumptions about the observation noise and, as a result, models the target function in a more realistic and robust fashion which translates to quicker HPO convergence on empirical benchmarks. To apply our method in a multi-fidelity setting, we propose a simple, yet effective, technique that aggregates observed results across different resource levels and outperforms conventional methods across many empirical tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI