Asynchronous Federated Learning: A Scalable Approach for Decentralized Machine Learning

要約

Federated Learning (FL) は、分散型機械学習の強力なパラダイムとして登場し、生データを共有することなく、多様なクライアント間での共同モデル トレーニングを可能にします。
ただし、従来の FL アプローチは、同期クライアント更新に依存するため、スケーラビリティと効率の制限に直面することが多く、特に異種環境や動的な環境では、大幅な遅延や通信オーバーヘッドの増加が発生する可能性があります。
この論文では、これらの課題に対処するために、クライアントがグローバル モデルを独立して非同期で更新できるようにする非同期フェデレーテッド ラーニング (AFL) アルゴリズムを提案します。
私たちの主な貢献には、クライアントの遅延やモデルの古さがある場合の AFL の包括的な収束分析が含まれます。
マルチンゲール差分数列理論と分散限界を活用することで、非同期更新にもかかわらず堅牢な収束を保証します。
強く凸の局所目的関数を仮定して、ランダムなクライアント サンプリングの下で​​勾配分散の限界を確立し、収束に対するクライアントの遅延の影響を定量化する再帰式を導出します。
さらに、CMIP6 気候データセット上で分散型長短期記憶 (LSTM) ベースの深層学習モデルをトレーニングし、非 IID および地理的に分散したデータを効果的に処理することにより、AFL の実用的な適用可能性を実証します。
提案された AFL アルゴリズムは、グローバル同期による非効率性やクライアント ドリフトの影響など、従来の FL 方式の主要な制限に対処します。
異種クライアントが混在し、動的なネットワーク条件が存在する現実世界の設定において、スケーラビリティ、堅牢性、効率性が向上します。
私たちの結果は、AFL が分散学習システム、特にリソースに制約のある環境における大規模なプライバシー保護アプリケーションの進歩を促進する可能性を強調しています。

要約(オリジナル)

Federated Learning (FL) has emerged as a powerful paradigm for decentralized machine learning, enabling collaborative model training across diverse clients without sharing raw data. However, traditional FL approaches often face limitations in scalability and efficiency due to their reliance on synchronous client updates, which can result in significant delays and increased communication overhead, particularly in heterogeneous and dynamic environments. To address these challenges in this paper, we propose an Asynchronous Federated Learning (AFL) algorithm, which allows clients to update the global model independently and asynchronously. Our key contributions include a comprehensive convergence analysis of AFL in the presence of client delays and model staleness. By leveraging martingale difference sequence theory and variance bounds, we ensure robust convergence despite asynchronous updates. Assuming strongly convex local objective functions, we establish bounds on gradient variance under random client sampling and derive a recursion formula quantifying the impact of client delays on convergence. Furthermore, we demonstrate the practical applicability of AFL by training a decentralized Long Short-Term Memory (LSTM)-based deep learning model on the CMIP6 climate dataset, effectively handling non-IID and geographically distributed data. The proposed AFL algorithm addresses key limitations of traditional FL methods, such as inefficiency due to global synchronization and susceptibility to client drift. It enhances scalability, robustness, and efficiency in real-world settings with heterogeneous client populations and dynamic network conditions. Our results underscore the potential of AFL to drive advancements in distributed learning systems, particularly for large-scale, privacy-preserving applications in resource-constrained environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google