Unveiling Energy Efficiency in Deep Learning: Measurement, Prediction, and Scoring across Edge Devices

要約

現在、ディープラーニングの最適化は主に、高い推論精度の達成とレイテンシの短縮に焦点を当てた研究によって推進されています。
しかし、エネルギー効率の側面はしばしば見落とされます。これはおそらく、この分野での持続可能性に対する考え方の欠如と、総合的なエネルギー データセットの欠如が原因と考えられます。
このペーパーでは、さまざまなエッジデバイスにわたるディープラーニングにおける電力とエネルギー消費の透明性を促進することを目的として、エネルギー測定、予測、効率スコアリングを含む 3 つの調査を実施します。
まず、オンデバイスのディープラーニングのエネルギー消費特性を明らかにする、この種では初めてとなる詳細な測定研究を紹介します。
この調査の結果、幅広いカーネル、最先端の DNN モデル、一般的な AI アプリケーションをカバーする、エッジ デバイス用の 3 つの広範なエネルギー データセットが作成されました。
次に、カーネル レベルのエネルギー データセットに基づいて、エッジ デバイス向けの最初のカーネル レベルのエネルギー予測器を設計して実装します。
評価結果は、目に見えない DNN モデルで一貫した正確なエネルギー推定を提供する予測子の能力を示しています。
最後に、エッジ デバイスの複雑な電力およびエネルギー消費データをエッジ デバイスのエンド ユーザーが理解しやすい方法に変換するために開発された 2 つのスコアリング メトリクス、PCS と IECS を紹介します。
私たちの取り組みが、エンドユーザーと研究コミュニティの両方の考え方を、私たちの研究を推進する原則であるエッジ コンピューティングの持続可能性に向けて変えるのに役立つことを願っています。
データ、コード、その他の最新情報については、https://amai-gsu.github.io/DeepEn2023 をご覧ください。

要約(オリジナル)

Today, deep learning optimization is primarily driven by research focused on achieving high inference accuracy and reducing latency. However, the energy efficiency aspect is often overlooked, possibly due to a lack of sustainability mindset in the field and the absence of a holistic energy dataset. In this paper, we conduct a threefold study, including energy measurement, prediction, and efficiency scoring, with an objective to foster transparency in power and energy consumption within deep learning across various edge devices. Firstly, we present a detailed, first-of-its-kind measurement study that uncovers the energy consumption characteristics of on-device deep learning. This study results in the creation of three extensive energy datasets for edge devices, covering a wide range of kernels, state-of-the-art DNN models, and popular AI applications. Secondly, we design and implement the first kernel-level energy predictors for edge devices based on our kernel-level energy dataset. Evaluation results demonstrate the ability of our predictors to provide consistent and accurate energy estimations on unseen DNN models. Lastly, we introduce two scoring metrics, PCS and IECS, developed to convert complex power and energy consumption data of an edge device into an easily understandable manner for edge device end-users. We hope our work can help shift the mindset of both end-users and the research community towards sustainability in edge computing, a principle that drives our research. Find data, code, and more up-to-date information at https://amai-gsu.github.io/DeepEn2023.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google