Uncovering Energy-Efficient Practices in Deep Learning Training: Preliminary Steps Towards Green AI

要約

最新の AI プラクティスはすべて、より良い結果という同じ目標に向かって努力しています。
深層学習の文脈では、「結果」という用語は、多くの場合、競合する問題セットで達成された精度を指します。
このホワイト ペーパーでは、グリーン AI の新たな分野からのアイデアを採用して、エネルギー消費を精度と同等に重要な指標と見なし、無関係なタスクやエネルギー使用量を削減します。
パイプライン全体のエネルギー消費に大きな影響を与える 2 つの要因である、ハイパーパラメーター調整戦略とモデルの複雑さの研究を通じて、持続可能性の観点からディープ ラーニング パイプラインのトレーニング ステージを調べます。
まず、ハイパーパラメータ調整中のグリッド検索、ランダム検索、およびベイジアン最適化の有効性を調査し、ベイジアン最適化が他の戦略を大幅に支配することを発見しました。
さらに、畳み込みニューラル ネットワークのアーキテクチャを、畳み込み層、線形層、および ReLU 層の 3 つの主要な層タイプのエネルギー消費で分析します。
結果は、畳み込み層が最も計算コストが高いことを示しています。
さらに、より多くのエネルギーを消費するモデルでは、精度の低下が見られます。
ネットワークの複雑さを軽減することで、トレーニングの全体的なエネルギー消費を半分にすることができます。
結論として、深層学習モデルをトレーニングするための革新的で有望なエネルギー効率の高いプラクティスを取り上げます。
グリーン AI の適用を拡大するために、エネルギー効率と精度のトレードオフを考慮して、ディープ ラーニング モデルの設計を変更することを提唱します。

要約(オリジナル)

Modern AI practices all strive towards the same goal: better results. In the context of deep learning, the term ‘results’ often refers to the achieved accuracy on a competitive problem set. In this paper, we adopt an idea from the emerging field of Green AI to consider energy consumption as a metric of equal importance to accuracy and to reduce any irrelevant tasks or energy usage. We examine the training stage of the deep learning pipeline from a sustainability perspective, through the study of hyperparameter tuning strategies and the model complexity, two factors vastly impacting the overall pipeline’s energy consumption. First, we investigate the effectiveness of grid search, random search and Bayesian optimisation during hyperparameter tuning, and we find that Bayesian optimisation significantly dominates the other strategies. Furthermore, we analyse the architecture of convolutional neural networks with the energy consumption of three prominent layer types: convolutional, linear and ReLU layers. The results show that convolutional layers are the most computationally expensive by a strong margin. Additionally, we observe diminishing returns in accuracy for more energy-hungry models. The overall energy consumption of training can be halved by reducing the network complexity. In conclusion, we highlight innovative and promising energy-efficient practices for training deep learning models. To expand the application of Green AI, we advocate for a shift in the design of deep learning models, by considering the trade-off between energy efficiency and accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google