The Power of Training: How Different Neural Network Setups Influence the Energy Demand

要約

この研究では、機械学習の学習レジームと学習パラダイムのバリエーションが、対応するエネルギー消費に与える影響を検証する。データの可用性の向上と高性能ハードウェアの革新は、洗練されたモデルの学習を促進する一方で、エネルギー消費と二酸化炭素排出に対する認識が薄れていることを裏付けている。したがって、この研究の目的は、バッチサイズから知識移転に至るまで、一般的な学習パラメータとプロセスのエネルギーへの影響について認識を深めることである。意味のある結果を得るために、異なるハイパーパラメータ初期化を持つ複数のセットアップを2つの異なるハードウェア構成で評価する。持続可能な機械学習への可能性を判断するために、ベースライン結果に加えて、事前学習とマルチタスク学習に関する実験を実施する。

要約(オリジナル)

This work examines the effects of variations in machine learning training regimes and learning paradigms on the corresponding energy consumption. While increasing data availability and innovation in high-performance hardware fuels the training of sophisticated models, it also supports the fading perception of energy consumption and carbon emission. Therefore, the goal of this work is to create awareness about the energy impact of general training parameters and processes, from learning rate over batch size to knowledge transfer. Multiple setups with different hyperparameter initializations are evaluated on two different hardware configurations to obtain meaningful results. Experiments on pretraining and multitask training are conducted on top of the baseline results to determine their potential towards sustainable machine learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL