MO-DEHB: Evolutionary-based Hyperband for Multi-Objective Optimization

要約

タイトル： 多目的最適化のための進化型Hyperband：MO-DEHB

要約：
– HPO（ハイパーパラメータ最適化）は、機械学習（ML）モデルの調整を自動化するための強力な技術である。
– しかし、実際の多くのアプリケーションでは、精度は考慮すべき複数のパフォーマンス基準のうちの1つにすぎない。
– 複雑で多様な探索空間でこれらの目的を同時に最適化することは、依然として難しい課題である。
– 本論文では、最近の進化Hyperband法DEHBを拡張した効果的で柔軟な多目的（MO）オプティマイザMO-DEHBを提案する。
– 我々は、精度、レイテンシ、アルゴリズムの公平性を含む目的を持つ、HPO、ニューラルアーキテクチャ検索（NAS）、および合同NASとHPOを含む多様で厳しい15のベンチマークの包括的な組によって、MO-DEHBのパフォーマンスを検証する。
– MO-DEHBを最新のMOオプティマイザと比較した比較研究は、我々の15のベンチマーク全体で最も優れたパフォーマンスをMO-DEHBが達成することを明確に示している。

要約(オリジナル)

Hyperparameter optimization (HPO) is a powerful technique for automating the tuning of machine learning (ML) models. However, in many real-world applications, accuracy is only one of multiple performance criteria that must be considered. Optimizing these objectives simultaneously on a complex and diverse search space remains a challenging task. In this paper, we propose MO-DEHB, an effective and flexible multi-objective (MO) optimizer that extends the recent evolutionary Hyperband method DEHB. We validate the performance of MO-DEHB using a comprehensive suite of 15 benchmarks consisting of diverse and challenging MO problems, including HPO, neural architecture search (NAS), and joint NAS and HPO, with objectives including accuracy, latency and algorithmic fairness. A comparative study against state-of-the-art MO optimizers demonstrates that MO-DEHB clearly achieves the best performance across our 15 benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI