FECoM: A Step towards Fine-Grained Energy Measurement for Deep Learning

要約

ディープラーニング (DL) モデルの使用量、規模、複雑さが増大するにつれて、そのエネルギー消費量の急速な増加が重大な懸念事項となっています。
DL システムの炭素排出を制限するには、さまざまな粒度でグリーン開発とエネルギー意識を促進することが今のニーズです。
しかし、エネルギー消費を細かい粒度（例えばメソッドレベル）で正確に測定し、最適化するための標準的で再現可能なツールが不足しているため、この分野の進歩は妨げられています。
本稿では、きめ細かいDLエネルギー消費量測定のためのフレームワークであるFECoM（Fine-graned Energy Consumption Meter）を紹介します。
具体的には、FECoM は研究者や開発者に DL API をプロファイリングするメカニズムを提供します。
FECoM は、静的計測を使用し、計算負荷や温度安定性などのさまざまな要因を考慮することで、エネルギー消費を詳細なレベルで測定するという課題に取り組んでいます。
私たちは、最も人気のあるオープンソース DL フレームワークの 1 つである TensorFlow のきめ細かいエネルギー消費を測定する FECoM の機能を評価します。
FECoM を使用して、パラメーターのサイズと実行時間がエネルギー消費に及ぼす影響も調査し、TensorFlow API のエネルギー プロファイルについての理解を深めます。
さらに、きめ細かいエネルギー消費測定ツールを設計および実装する際に考慮する必要がある考慮事項、問題、課題について詳しく説明します。
この取り組みにより、DL エネルギー測定のさらなる進歩と、DL システムのエネルギーを意識した実践の開発が促進されることを期待しています。

要約(オリジナル)

With the increasing usage, scale, and complexity of Deep Learning (DL) models, their rapidly growing energy consumption has become a critical concern. Promoting green development and energy awareness at different granularities is the need of the hour to limit carbon emissions of DL systems. However, the lack of standard and repeatable tools to accurately measure and optimize energy consumption at a fine granularity (e.g., at method level) hinders progress in this area. In this paper, we introduce FECoM (Fine-grained Energy Consumption Meter), a framework for fine-grained DL energy consumption measurement. Specifically, FECoM provides researchers and developers a mechanism to profile DL APIs. FECoM addresses the challenges of measuring energy consumption at fine-grained level by using static instrumentation and considering various factors, including computational load and temperature stability. We assess FECoM’s capability to measure fine-grained energy consumption for one of the most popular open-source DL frameworks, namely TensorFlow. Using FECoM, we also investigate the impact of parameter size and execution time on energy consumption, enriching our understanding of TensorFlow APIs’ energy profiles. Furthermore, we elaborate on the considerations, issues, and challenges that one needs to consider while designing and implementing a fine-grained energy consumption measurement tool. We hope this work will facilitate further advances in DL energy measurement and the development of energy-aware practices for DL systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google