c-TPE: Tree-structured Parzen Estimator with Inequality Constraints for Expensive Hyperparameter Optimization

要約

タイトル：高価なハイパーパラメータ最適化の制約つきツリー構造パルゼン推定器の不等式制約を用いた拡張

要約：

– ハイパーパラメータ最適化（HPO）は、ディープラーニングアルゴリズムの強力なパフォーマンスにとって重要であり、リアルワールドのアプリケーションでは、パフォーマンス要件に加えて、メモリ使用量やレイテンシなどの制約が課せられることがあります。
– 本研究では、制約TPE（c-TPE）という、広く使用されているベイジアン最適化法であるツリー構造パルゼン推定器（TPE）の拡張を提案して、これらの制約を処理します。
– 我々は、既存の取得関数と元のTPEの単純な組み合わせを超えた提案拡張を行い、性能が低下する原因に対処するための修正を含めました。これらの修正について、実証的におよび理論的に徹底的に分析し、どのようにしてこれらの課題を効果的に克服するかを解明します。
– 実験では、81の高価なHPO設定で統計的に有意な平均ランクパフォーマンスを示す、既存の方法の中で最も優れたものであることを示します。

要約(オリジナル)

Hyperparameter optimization (HPO) is crucial for strong performance of deep learning algorithms and real-world applications often impose some constraints, such as memory usage, or latency on top of the performance requirement. In this work, we propose constrained TPE (c-TPE), an extension of the widely-used versatile Bayesian optimization method, tree-structured Parzen estimator (TPE), to handle these constraints. Our proposed extension goes beyond a simple combination of an existing acquisition function and the original TPE, and instead includes modifications that address issues that cause poor performance. We thoroughly analyze these modifications both empirically and theoretically, providing insights into how they effectively overcome these challenges. In the experiments, we demonstrate that c-TPE exhibits the best average rank performance among existing methods with statistical significance on 81 expensive HPO settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI