Speeding up Multi-objective Non-hierarchical Hyperparameter Optimization by Task Similarity-Based Meta-Learning for the Tree-structured Parzen Estimator

要約

【タイトル】タスク類似性に基づくメタラーニングによるツリー構造パーゼン推定器におけるマルチオブジェクティブ非階層型ハイパーパラメータ最適化の高速化

【要約】
– ハイパーパラメータ最適化（HPO）は、深層学習（DL）の性能向上に欠かせないステップである。
– DLの高い計算資源と効率的なHPOへの需要の増加に伴い、マルチオブジェクティブ（MO）最適化の加速化がますます重要になっている。
– MOツリー構造パーゼン推定器（MO-TPE）のための既存のメタラーニング手法は、適用できない。
– 本研究では、タスク間のトップドメインのオーバーラップによって定義されたタスクの類似性を使用して、TPEの獲得関数をメタラーニングの設定に拡張する。
– 実験では、表形式のHPOベンチマークでMO-TPEを高速化し、最先端の性能を達成することを実証した。
– また、当社の方法は、「Multiobjective Hyperparameter Optimization for Transformers」でのAutoML 2022コンペティションで優勝していることが外部的に検証された。

要約(オリジナル)

Hyperparameter optimization (HPO) is a vital step in improving performance in deep learning (DL). Practitioners are often faced with the trade-off between multiple criteria, such as accuracy and latency. Given the high computational needs of DL and the growing demand for efficient HPO, the acceleration of multi-objective (MO) optimization becomes ever more important. Despite the significant body of work on meta-learning for HPO, existing methods are inapplicable to MO tree-structured Parzen estimator (MO-TPE), a simple yet powerful MO-HPO algorithm. In this paper, we extend TPE’s acquisition function to the meta-learning setting using a task similarity defined by the overlap of top domains between tasks. We also theoretically analyze and address the limitations of our task similarity. In the experiments, we demonstrate that our method speeds up MO-TPE on tabular HPO benchmarks and attains state-of-the-art performance. Our method was also validated externally by winning the AutoML 2022 competition on “Multiobjective Hyperparameter Optimization for Transformers”.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI