Spend More to Save More (SM2): An Energy-Aware Implementation of Successive Halving for Sustainable Hyperparameter Optimization

要約

機械学習モデルの開発における基本的なステップには、通常、ハイパーパラメータの調整が含まれており、多くの場合、最高のパフォーマンスを発揮する構成を見つけるために複数のモデル トレーニングを実行することになります。
機械学習のタスクとモデルが複雑になるにつれて、パフォーマンスを向上させるだけでなく、持続可能性の懸念にも対処するソリューションのニーズが高まっています。
既存の戦略は主に、エネルギー効率を考慮せずにモデルのパフォーマンスを最大化することに焦点を当てています。
このギャップを埋めるために、このホワイト ペーパーでは、広く採用されている逐次半減アルゴリズムに基づくエネルギーを意識したハイパーパラメータ最適化実装である Spend More to Save More (SM2) を紹介します。
個々のハイパーパラメータ構成のエネルギー集約的なテストを含む従来のアプローチとは異なり、SM2 は探索的な事前トレーニングを採用して、最小限のエネルギー消費で非効率な構成を特定します。
SM2 は、ハードウェア特性とリアルタイムのエネルギー消費追跡を組み込んで、モデルのパフォーマンスを最大化するだけでなく、エネルギー効率の高いトレーニングを可能にする最適な構成を特定します。
さまざまなデータセット、モデル、ハードウェア設定にわたる実験的検証により、ハイパーパラメーター構成のトレーニング中のエネルギーの無駄を防ぐ SM2 の有効性が確認されています。

要約(オリジナル)

A fundamental step in the development of machine learning models commonly involves the tuning of hyperparameters, often leading to multiple model training runs to work out the best-performing configuration. As machine learning tasks and models grow in complexity, there is an escalating need for solutions that not only improve performance but also address sustainability concerns. Existing strategies predominantly focus on maximizing the performance of the model without considering energy efficiency. To bridge this gap, in this paper, we introduce Spend More to Save More (SM2), an energy-aware hyperparameter optimization implementation based on the widely adopted successive halving algorithm. Unlike conventional approaches including energy-intensive testing of individual hyperparameter configurations, SM2 employs exploratory pretraining to identify inefficient configurations with minimal energy expenditure. Incorporating hardware characteristics and real-time energy consumption tracking, SM2 identifies an optimal configuration that not only maximizes the performance of the model but also enables energy-efficient training. Experimental validations across various datasets, models, and hardware setups confirm the efficacy of SM2 to prevent the waste of energy during the training of hyperparameter configurations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google