A Trajectory-Based Bayesian Approach to Multi-Objective Hyperparameter Optimization with Epoch-Aware Trade-Offs

要約

機械学習モデルのトレーニングには、モデルパフォーマンスのエポックごとのモニタリングを可能にするリソース集約型のノイズの多い反復学習手順が本質的に含まれます。
ただし、反復学習手順から得られた洞察は、通常、多目的ハイパーパラメーター最適化シナリオでは十分に活用されていません。
この分野での限られた研究にもかかわらず、既存の方法は一般に、モデルトレーニングの終了時にのみトレードオフを識別し、過剰適合などの場合には以前のエポックでトレードオフが出現する可能性があるという事実を見落としています。
このギャップを埋めるために、トレーニングエポックの数を単なる補助パラメーターではなく、以前のトレーニング段階でのトレードオフを説明するために、トレーニングエポックの数を決定変数として扱う強化された多目的ハイパーパラメーター最適化問題を提案します。
この問題を解決し、反復学習に対応するために、2つの機能を特徴とする軌道ベースの多目的ベイジアン最適化アルゴリズムを提示します。
合成シミュレーションとハイパーパラメーターチューニングベンチマークの実験は、私たちのアルゴリズムがチューニング効率を改善しながら望ましいトレードオフを効果的に識別できることを示しています。

要約(オリジナル)

Training machine learning models inherently involves a resource-intensive and noisy iterative learning procedure that allows epoch-wise monitoring of the model performance. However, the insights gained from the iterative learning procedure typically remain underutilized in multi-objective hyperparameter optimization scenarios. Despite the limited research in this area, existing methods commonly identify the trade-offs only at the end of model training, overlooking the fact that trade-offs can emerge at earlier epochs in cases such as overfitting. To bridge this gap, we propose an enhanced multi-objective hyperparameter optimization problem that treats the number of training epochs as a decision variable, rather than merely an auxiliary parameter, to account for trade-offs at an earlier training stage. To solve this problem and accommodate its iterative learning, we then present a trajectory-based multi-objective Bayesian optimization algorithm characterized by two features: 1) a novel acquisition function that captures the improvement along the predictive trajectory of model performances over epochs for any hyperparameter setting and 2) a multi-objective early stopping mechanism that determines when to terminate the training to maximize epoch efficiency. Experiments on synthetic simulations and hyperparameter tuning benchmarks demonstrate that our algorithm can effectively identify the desirable trade-offs while improving tuning efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google