Holistic analysis on the sustainability of Federated Learning across AI product lifecycle

要約

プライバシー保護に焦点を当てた新たな法的要件とポリシーに照らして、連邦学習（FL）を採用しているさまざまな業界の企業の増加傾向があります。
この分散型アプローチには、複数のクライアントまたはサイロが含まれ、プライベートローカルデータを利用しながら、中央サーバーの調整の下でグローバルモデルを協力してトレーニングします。
データ共有と伝送を必要とする従来の方法とは異なり、クロスシロFLは、クライアントが生データではなくモデルの更新を共有し、それによってプライバシーを強化することができます。
採用の拡大にもかかわらず、クロスシロFLに関連する炭素の影響は、この分野での研究が限られているため、あまり理解されていません。
この研究では、AI製品ライフサイクル全体でクロスシロFLの持続可能性を評価し、モデルトレーニングフェーズだけを超えて分析を拡張することにより、このギャップを埋めることを目指しています。
この分散化された方法を従来の集中型アプローチと体系的に比較し、実際のクロスシロFL環境でコストとCO2排出量を評価するための堅牢な定量的フレームワークを提示します。
私たちの調査結果は、モデルトレーニングのエネルギー消費とコストが、シロの連合学習と集中学習の間で同等であることを示しています。
ただし、集中学習に固有の追加データ転送およびストレージ要件は、多くの場合見落とされがちなCO2排出量をもたらす可能性があります。
さらに、IT企業の持続可能性と経済効率の向上を目的とした、クロスシロFLと分析を統合する革新的なデータおよびアプリケーション管理システムを紹介します。

要約(オリジナル)

In light of emerging legal requirements and policies focused on privacy protection, there is a growing trend of companies across various industries adopting Federated Learning (FL). This decentralized approach involves multiple clients or silos, collaboratively training a global model under the coordination of a central server while utilizing their private local data. Unlike traditional methods that necessitate data sharing and transmission, Cross-Silo FL allows clients to share model updates rather than raw data, thereby enhancing privacy. Despite its growing adoption, the carbon impact associated with Cross-Silo FL remains poorly understood due to the limited research in this area. This study seeks to bridge this gap by evaluating the sustainability of Cross-Silo FL throughout the entire AI product lifecycle, extending the analysis beyond the model training phase alone. We systematically compare this decentralized method with traditional centralized approaches and present a robust quantitative framework for assessing the costs and CO2 emissions in real-world Cross-Silo FL environments. Our findings indicate that the energy consumption and costs of model training are comparable between Cross-Silo Federated Learning and Centralized Learning. However, the additional data transfer and storage requirements inherent in Centralized Learning can result in significant, often overlooked CO2 emissions. Moreover, we introduce an innovative data and application management system that integrates Cross-Silo FL and analytics, aiming at improving the sustainability and economic efficiency of IT enterprises.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google