FedZero: Leveraging Renewable Excess Energy in Federated Learning

要約

Federated Learning (FL) は、データを共有せずにデータ サイロまたはエッジ デバイス間で分散モデル トレーニングを可能にする新しい機械学習技術です。
しかし、FL では集中型のモデル トレーニングに比べて必然的に非効率性が生じ、すでに高いエネルギー使用量と機械学習に伴う二酸化炭素排出量が将来さらに増加することになります。
フロリダ州の二酸化炭素排出量を削減するための 1 つのアイデアは、グリッド内の特定の時間と場所で発生する可能性のある再生可能余剰エネルギーの利用可能性に基づいてトレーニング ジョブをスケジュールすることです。
ただし、このような不安定で信頼性の低いリソースが存在する場合、既存の FL スケジューラでは常に高速、効率的、公平なトレーニングを保証できるとは限りません。
私たちは、再生可能な余剰エネルギーとコンピューティング インフラストラクチャの余剰容量のみを利用して動作し、トレーニングの運営上の二酸化炭素排出量を効果的にゼロに削減する FL システムである FedZero を提案します。
FedZero は、エネルギーと負荷の予測を使用して、迅速な収束と公平な参加のためにクライアントを選択することにより、余剰リソースの時空間的な可用性を活用します。
実際の太陽光発電と負荷の追跡に基づいた私たちの評価では、FedZero は、前述の制約の下で既存のアプローチよりも大幅に高速に収束し、消費エネルギーも少ないことがわかりました。
さらに、予測エラーに対して堅牢であり、数万のクライアントに拡張可能です。

要約(オリジナル)

Federated Learning (FL) is an emerging machine learning technique that enables distributed model training across data silos or edge devices without data sharing. Yet, FL inevitably introduces inefficiencies compared to centralized model training, which will further increase the already high energy usage and associated carbon emissions of machine learning in the future. One idea to reduce FL’s carbon footprint is to schedule training jobs based on the availability of renewable excess energy that can occur at certain times and places in the grid. However, in the presence of such volatile and unreliable resources, existing FL schedulers cannot always ensure fast, efficient, and fair training. We propose FedZero, an FL system that operates exclusively on renewable excess energy and spare capacity of compute infrastructure to effectively reduce a training’s operational carbon emissions to zero. Using energy and load forecasts, FedZero leverages the spatio-temporal availability of excess resources by selecting clients for fast convergence and fair participation. Our evaluation, based on real solar and load traces, shows that FedZero converges significantly faster than existing approaches under the mentioned constraints while consuming less energy. Furthermore, it is robust to forecasting errors and scalable to tens of thousands of clients.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google