Hyperparameter Importance Analysis for Multi-Objective AutoML

要約

ハイパーパラメータの最適化は、ML モデルの予測パフォーマンスと一般化機能を強化する上で極めて重要な役割を果たします。
ただし、多くのアプリケーションでは、予測パフォーマンスだけでなく、推論時間、メモリ、エネルギー消費などの目標も考慮します。
このような MOO シナリオでは、相反する目標間の複雑な相互作用により、ハイパーパラメーターの重要性を決定することが大きな課題となります。
この論文では、多目的ハイパーパラメータ最適化の文脈においてハイパーパラメータの重要性を評価するための最初の方法を提案します。
私たちのアプローチは、サロゲートベースのハイパーパラメータ重要度 (HPI) 測定、つまり fANOVA やアブレーション パスを利用して、最適化目標に対するハイパーパラメータの影響についての洞察を提供します。
具体的には、目的の事前スカラー化を計算し、さまざまな目的のトレードオフに対するハイパーパラメーターの重要性を決定します。
精度と組み合わせた 3 つの異なる目的、つまり時間、人口統計的均等性、エネルギー消費量を使用した多様なベンチマーク データセットに対する広範な経験的評価を通じて、提案した手法の有効性と堅牢性を実証します。
私たちの発見は、MOO タスクにおけるハイパーパラメーター調整のための貴重な指針を提供するだけでなく、複雑な最適化シナリオにおける HPI の理解を進めることにも貢献します。

要約(オリジナル)

Hyperparameter optimization plays a pivotal role in enhancing the predictive performance and generalization capabilities of ML models. However, in many applications, we do not only care about predictive performance but also about objectives such as inference time, memory, or energy consumption. In such MOO scenarios, determining the importance of hyperparameters poses a significant challenge due to the complex interplay between the conflicting objectives. In this paper, we propose the first method for assessing the importance of hyperparameters in the context of multi-objective hyperparameter optimization. Our approach leverages surrogate-based hyperparameter importance (HPI) measures, i.e. fANOVA and ablation paths, to provide insights into the impact of hyperparameters on the optimization objectives. Specifically, we compute the a-priori scalarization of the objectives and determine the importance of the hyperparameters for different objective tradeoffs. Through extensive empirical evaluations on diverse benchmark datasets with three different objectives paired with accuracy, namely time, demographic parity, and energy consumption, we demonstrate the effectiveness and robustness of our proposed method. Our findings not only offer valuable guidance for hyperparameter tuning in MOO tasks but also contribute to advancing the understanding of HPI in complex optimization scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google