Chasing Low-Carbon Electricity for Practical and Sustainable DNN Training

要約

タイトル：実践的で持続可能なDNNトレーニングのための低炭素電力追求

要約：
– 深層学習による深層ニューラルネットワーク（DNN）のトレーニングにおいて、GPUの使用によるエネルギー消費と二酸化炭素排出が増加している。
– 可能な限り低炭素度の場所や時間帯にトレーニングジョブを移すことで、持続可能性を実現しようとする既存の解決策があるが、データセットが大きい場合やデータ規制により移動が困難な場合がある。
– また、トレーニングを延期することで、DNNがタイムリーに更新されないため、アプリケーションサービスの品質に悪影響を与える可能性がある。
– 本研究では、移行や延期せずにDNNトレーニングの炭素足跡を削減する実践的な解決策を提供する。
– 具体的には、トレーニング中のリアルタイム炭素度シフトを観測し、GPUのエネルギー消費を制御することにより、トレーニングパフォーマンスを維持しながら炭素足跡を削減する。
– さらに、炭素度が変化するに対応するために、次の時間枠の炭素度を予測する軽量機械学習アルゴリズムを提案している。
– 本研究のソリューションであるChaseにより、ImageNet上のResNet-50のトレーニングの総炭素足跡を13.6％削減し、トレーニング時間のみ2.5％増加させることができる。

要約(オリジナル)

Deep learning has experienced significant growth in recent years, resulting in increased energy consumption and carbon emission from the use of GPUs for training deep neural networks (DNNs). Answering the call for sustainability, conventional solutions have attempted to move training jobs to locations or time frames with lower carbon intensity. However, moving jobs to other locations may not always be feasible due to large dataset sizes or data regulations. Moreover, postponing training can negatively impact application service quality because the DNNs backing the service are not updated in a timely fashion. In this work, we present a practical solution that reduces the carbon footprint of DNN training without migrating or postponing jobs. Specifically, our solution observes real-time carbon intensity shifts during training and controls the energy consumption of GPUs, thereby reducing carbon footprint while maintaining training performance. Furthermore, in order to proactively adapt to shifting carbon intensity, we propose a lightweight machine learning algorithm that predicts the carbon intensity of the upcoming time frame. Our solution, Chase, reduces the total carbon footprint of training ResNet-50 on ImageNet by 13.6% while only increasing training time by 2.5%.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI