Parallel Multi-Objective Hyperparameter Optimization with Uniform Normalization and Bounded Objectives

要約

機械学習 (ML) メソッドは、パフォーマンスに大きな影響を与える、構成可能なハイパーパラメータを幅広く提供します。
精度は一般的に使用されるパフォーマンス目標ですが、多くの設定ではそれだけでは十分ではありません。
精度、信頼性、公平性、キャリブレーション、プライバシー、レイテンシ、メモリ消費量などの複数の目標に関して ML モデルを最適化することが重要になってきています。
そのため、ハイパーパラメータの最適化、つまりハイパーパラメータを体系的に最適化するアプローチは、単一の目的ではすでに困難ですが、複数の目的ではさらに困難になります。
さらに、目標の規模の違い、失敗、目標内の異常値の存在により、問題はさらに難しくなります。
我々は、均一目的正規化とスカラー化におけるランダム化された重みを通じてこれらの問題に対処する多目的ベイジアン最適化 (MoBO) アルゴリズムを提案します。
不必要な構成（精度が不十分など）の探索を避けるために、目的に制約を課すことでアプローチの効率を高めます。
最後に、MoBO を並列化するアプローチを活用し、16 倍のワーカーを使用すると 5 倍の高速化が実現します。

要約(オリジナル)

Machine learning (ML) methods offer a wide range of configurable hyperparameters that have a significant influence on their performance. While accuracy is a commonly used performance objective, in many settings, it is not sufficient. Optimizing the ML models with respect to multiple objectives such as accuracy, confidence, fairness, calibration, privacy, latency, and memory consumption is becoming crucial. To that end, hyperparameter optimization, the approach to systematically optimize the hyperparameters, which is already challenging for a single objective, is even more challenging for multiple objectives. In addition, the differences in objective scales, the failures, and the presence of outlier values in objectives make the problem even harder. We propose a multi-objective Bayesian optimization (MoBO) algorithm that addresses these problems through uniform objective normalization and randomized weights in scalarization. We increase the efficiency of our approach by imposing constraints on the objective to avoid exploring unnecessary configurations (e.g., insufficient accuracy). Finally, we leverage an approach to parallelize the MoBO which results in a 5x speed-up when using 16x more workers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google