Speeding Up Multi-Objective Hyperparameter Optimization by Task Similarity-Based Meta-Learning for the Tree-Structured Parzen Estimator

要約

ハイパーパラメータ最適化 (HPO) は、ディープ ラーニング (DL) のパフォーマンスを向上させるための重要なステップです。
医師は多くの場合、精度や待ち時間などの複数の基準間のトレードオフに直面します。
DL の高い計算ニーズと効率的な HPO に対する需要の高まりを考慮すると、多目的 (MO) 最適化の加速がますます重要になっています。
HPO のメタ学習に関する膨大な作業にもかかわらず、既存の手法は、シンプルかつ強力な MO-HPO アルゴリズムである MO ツリー構造パルゼン推定器 (MO-TPE) には適用できません。
この論文では、タスク間のトップドメインの重複によって定義されるタスクの類似性を使用して、TPEの獲得機能をメタ学習設定に拡張します。
また、タスクの類似性の限界を理論的に分析し、対処します。
実験では、私たちの方法が表形式の HPO ベンチマークで MO-TPE を高速化し、最先端のパフォーマンスを達成することを実証しました。
私たちの手法は、「トランスフォーマーの多目的ハイパーパラメータ最適化」に関する AutoML 2022 コンペティションで優勝することで、外部でも検証されました。

要約(オリジナル)

Hyperparameter optimization (HPO) is a vital step in improving performance in deep learning (DL). Practitioners are often faced with the trade-off between multiple criteria, such as accuracy and latency. Given the high computational needs of DL and the growing demand for efficient HPO, the acceleration of multi-objective (MO) optimization becomes ever more important. Despite the significant body of work on meta-learning for HPO, existing methods are inapplicable to MO tree-structured Parzen estimator (MO-TPE), a simple yet powerful MO-HPO algorithm. In this paper, we extend TPE’s acquisition function to the meta-learning setting using a task similarity defined by the overlap of top domains between tasks. We also theoretically analyze and address the limitations of our task similarity. In the experiments, we demonstrate that our method speeds up MO-TPE on tabular HPO benchmarks and attains state-of-the-art performance. Our method was also validated externally by winning the AutoML 2022 competition on ‘Multiobjective Hyperparameter Optimization for Transformers’.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google