FedGreen: Carbon-aware Federated Learning with Model Size Adaptation

要約

フェデレーション ラーニング (FL) は、分散クライアントからモデルを構築するための有望な共同フレームワークを提供します。この研究では、FL プロセスの炭素排出量を調査します。
FL クライアントをホストするクラウドおよびエッジ サーバーは、電源が異なる地理的位置の影響を受ける多様な二酸化炭素排出量を示す可能性があり、適応計算と通信を使用してローカル モデルをトレーニングすることで二酸化炭素排出量を削減する機会を提供します。
このペーパーでは、モデル圧縮手法として順序付けドロップアウトを使用し、炭素プロファイルと位置に基づいてクライアントと共有される適応モデル サイズを採用することで、モデルを効率的にトレーニングする炭素認識 FL アプローチである FedGreen を提案します。
パラメータを最適に選択するために国間の炭素強度の差異を考慮して、生成される炭素排出量と収束精度の間のトレードオフを理論的に分析します。
実証研究により、FedGreen は競合モデルの精度を維持しながら、最先端のものと比較して FL の二酸化炭素排出量を大幅に削減できることが示されています。

要約(オリジナル)

Federated learning (FL) provides a promising collaborative framework to build a model from distributed clients, and this work investigates the carbon emission of the FL process. Cloud and edge servers hosting FL clients may exhibit diverse carbon footprints influenced by their geographical locations with varying power sources, offering opportunities to reduce carbon emissions by training local models with adaptive computations and communications. In this paper, we propose FedGreen, a carbon-aware FL approach to efficiently train models by adopting adaptive model sizes shared with clients based on their carbon profiles and locations using ordered dropout as a model compression technique. We theoretically analyze the trade-offs between the produced carbon emissions and the convergence accuracy, considering the carbon intensity discrepancy across countries to choose the parameters optimally. Empirical studies show that FedGreen can substantially reduce the carbon footprints of FL compared to the state-of-the-art while maintaining competitive model accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google