Hyperparameter Importance Analysis for Multi-Objective AutoML

要約

ハイパーパラメータの最適化は、ML モデルの予測パフォーマンスと一般化機能を強化する上で極めて重要な役割を果たします。
ただし、多くのアプリケーションでは、予測パフォーマンスだけでなく、推論時間、メモリ、エネルギー消費などの追加の目標も考慮します。
このような複数の目的のシナリオでは、競合する目的間の複雑な相互作用により、ハイパーパラメーターの重要性を決定することが大きな課題となります。
この論文では、多目的ハイパーパラメータ最適化におけるハイパーパラメータの重要性を評価するための最初の方法を提案します。
私たちのアプローチは、サロゲートベースのハイパーパラメータ重要度測定、つまり fANOVA やアブレーション パスを利用して、最適化目標に対するハイパーパラメータの影響についての洞察を提供します。
具体的には、目的の事前スカラー化を計算し、さまざまな目的のトレードオフに対するハイパーパラメーターの重要性を決定します。
それぞれが精度、つまり時間、人口統計的パリティ損失、エネルギー消費量と組み合わされた 3 つの異なる目的ペアを備えた多様なベンチマーク データセットに対する広範な経験的評価を通じて、提案した方法の有効性と堅牢性を実証します。
私たちの発見は、多目的最適化タスクにおけるハイパーパラメータ調整のための貴重な指針を提供するだけでなく、複雑な最適化シナリオにおけるハイパーパラメータの重要性の理解を進めることにも貢献します。

要約(オリジナル)

Hyperparameter optimization plays a pivotal role in enhancing the predictive performance and generalization capabilities of ML models. However, in many applications, we do not only care about predictive performance but also about additional objectives such as inference time, memory, or energy consumption. In such multi-objective scenarios, determining the importance of hyperparameters poses a significant challenge due to the complex interplay between the conflicting objectives. In this paper, we propose the first method for assessing the importance of hyperparameters in multi-objective hyperparameter optimization. Our approach leverages surrogate-based hyperparameter importance measures, i.e., fANOVA and ablation paths, to provide insights into the impact of hyperparameters on the optimization objectives. Specifically, we compute the a-priori scalarization of the objectives and determine the importance of the hyperparameters for different objective tradeoffs. Through extensive empirical evaluations on diverse benchmark datasets with three different objective pairs, each combined with accuracy, namely time, demographic parity loss, and energy consumption, we demonstrate the effectiveness and robustness of our proposed method. Our findings not only offer valuable guidance for hyperparameter tuning in multi-objective optimization tasks but also contribute to advancing the understanding of hyperparameter importance in complex optimization scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google