Evaluating the Energy Consumption of Machine Learning: Systematic Literature Review and Experiments

要約

機械学習 (ML) のエネルギー消費の監視、理解、最適化には、ML のエネルギー使用量を評価する必要があるさまざまな理由があります。
ただし、すべてのユースケースでこの質問に答えることができる普遍的なツールは存在せず、特定のユースケースのエネルギー消費を評価する方法については意見の相違さえある可能性があります。
ツールと手法はさまざまなアプローチに基づいており、それぞれに独自の長所と短所があるため、特定の状況に最適なものを選択するには、それらをマッピングして説明する必要があります。
私たちは 2 つのアプローチを通じてこの課題に取り組みます。
まず、最初に機械学習用に設計されたか一般的なソフトウェア用に設計されたかに関係なく、ML のエネルギー消費 (トレーニング時と推論時の両方) を評価できるすべてのツールと方法の系統的な文献レビューを実施します。
次に、これらのツールと方法の選択を比較するための実験プロトコルを開発して使用します。
この比較は、さまざまな性質 (視覚、言語) と計算の複雑さのさまざまな ML タスクに関して、定性的および定量的の両方で行われます。
体系的な文献レビューは、基本的なエネルギー監視から消費の最適化に至るさまざまなユースケースについて、ML のエネルギー消費の評価に使用される一連のツールと方法を理解するための包括的なガイドとして機能します。
さらに詳しく調べるために、2 つのオープンソース リポジトリが提供されています。
最初のものには、この作業を再現したり、現在のレビューを拡張したりするために使用できるツールが含まれています。
2 番目のリポジトリには実験プロトコルが格納されており、ユーザーは新しい ML コンピューティング タスクや追加のエネルギー評価ツールでプロトコルを拡張できます。

要約(オリジナル)

Monitoring, understanding, and optimizing the energy consumption of Machine Learning (ML) are various reasons why it is necessary to evaluate the energy usage of ML. However, there exists no universal tool that can answer this question for all use cases, and there may even be disagreement on how to evaluate energy consumption for a specific use case. Tools and methods are based on different approaches, each with their own advantages and drawbacks, and they need to be mapped out and explained in order to select the most suitable one for a given situation. We address this challenge through two approaches. First, we conduct a systematic literature review of all tools and methods that permit to evaluate the energy consumption of ML (both at training and at inference), irrespective of whether they were originally designed for machine learning or general software. Second, we develop and use an experimental protocol to compare a selection of these tools and methods. The comparison is both qualitative and quantitative on a range of ML tasks of different nature (vision, language) and computational complexity. The systematic literature review serves as a comprehensive guide for understanding the array of tools and methods used in evaluating energy consumption of ML, for various use cases going from basic energy monitoring to consumption optimization. Two open-source repositories are provided for further exploration. The first one contains tools that can be used to replicate this work or extend the current review. The second repository houses the experimental protocol, allowing users to augment the protocol with new ML computing tasks and additional energy evaluation tools.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google