Accelerating Semi-Asynchronous Federated Learning

要約

Federated Learning (FL) は、クライアントがプライバシーを保護しながらデータに基づいてモデルをトレーニングできるようにする分散機械学習パラダイムです。
Federated Averaging (FedAvg) やそのバリアントなどの FL アルゴリズムは、多くのシナリオで良好に収束することが示されています。
ただし、これらの方法では、クライアントがローカル更新をサーバーに同期的にアップロードする必要があるため、実際の FL 設定では時間がかかり、信頼性が低くなる可能性があります。
この問題に対処するために、研究者たちは、クライアントが古いグローバル モデルを使用してローカル データでトレーニングを継続できるようにする非同期 FL メソッドを開発しました。
ただし、これらのメソッドのほとんどは、相対的な寄与を考慮せずに、受信したすべての更新を単純に集約するため、収束が遅くなる可能性があります。
この論文では、受信した更新の古さと統計的異質性を考慮した、貢献を意識した非同期 FL 手法を提案します。
私たちの方法は、これらの要因に基づいて各更新の寄与を動的に調整するため、既存の方法と比較して収束を高速化できます。

要約(オリジナル)

Federated Learning (FL) is a distributed machine learning paradigm that allows clients to train models on their data while preserving their privacy. FL algorithms, such as Federated Averaging (FedAvg) and its variants, have been shown to converge well in many scenarios. However, these methods require clients to upload their local updates to the server in a synchronous manner, which can be slow and unreliable in realistic FL settings. To address this issue, researchers have developed asynchronous FL methods that allow clients to continue training on their local data using a stale global model. However, most of these methods simply aggregate all of the received updates without considering their relative contributions, which can slow down convergence. In this paper, we propose a contribution-aware asynchronous FL method that takes into account the staleness and statistical heterogeneity of the received updates. Our method dynamically adjusts the contribution of each update based on these factors, which can speed up convergence compared to existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google