Do DL models and training environments have an impact on energy consumption?

要約

コンピュータビジョン分野における現在の研究は、主にディープラーニング（DL）の正しさと推論時間の性能向上に焦点を当てている。しかし、DLモデルのトレーニングが持つ莫大なカーボンフットプリントに関する研究はまだ少ない。本研究の目的は、より環境に優しいコンピュータビジョンモデルを訓練する際のモデルアーキテクチャと訓練環境の影響を分析することである。この目標を2つの研究課題に分ける。第一に、正しさを最適なレベルに保ちながら、より環境に優しいモデルを実現するためのモデルアーキテクチャの効果を分析する。第二に、より環境に優しいモデルを生成するためのトレーニング環境の影響を研究する。これらの関係を調査するために、モデルのトレーニング中にエネルギー効率とモデルの正しさに関連する複数のメトリクスを収集する。そして、測定されたエネルギー効率とモデルの正しさの間のトレードオフについて、モデルアーキテクチャ、および訓練環境との関係について概説する。この研究を、画像分類のためのコンピュータビジョンシステムの文脈で行う。結論として、適切なモデルアーキテクチャと学習環境を選択することで、正しさを無視できる程度に低下させる代償として、エネルギー消費を劇的に（最大81.38％）削減できることを示す。また、より良いエネルギー効率を得るためには、GPUはモデルの計算複雑さに応じてスケーリングすべきであるという証拠も発見した。

要約(オリジナル)

Current research in the computer vision field mainly focuses on improving Deep Learning (DL) correctness and inference time performance. However, there is still little work on the huge carbon footprint that has training DL models. This study aims to analyze the impact of the model architecture and training environment when training greener computer vision models. We divide this goal into two research questions. First, we analyze the effects of model architecture on achieving greener models while keeping correctness at optimal levels. Second, we study the influence of the training environment on producing greener models. To investigate these relationships, we collect multiple metrics related to energy efficiency and model correctness during the models’ training. Then, we outline the trade-offs between the measured energy efficiency and the models’ correctness regarding model architecture, and their relationship with the training environment. We conduct this research in the context of a computer vision system for image classification. In conclusion, we show that selecting the proper model architecture and training environment can reduce energy consumption dramatically (up to 81.38%) at the cost of negligible decreases in correctness. Also, we find evidence that GPUs should scale with the models’ computational complexity for better energy efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL