Client Selection in Federated Learning with Data Heterogeneity and Network Latencies

要約

Federated Learning（FL）は、複数のクライアントがプライベートデータに基づいてローカルトレーニングを実施する分散機械学習パラダイムであり、更新されたモデルはグローバル集約のために中央サーバーに送信されます。
FLの実際的な収束は複数の要因によって挑戦されており、主なハードルはクライアント間の不均一性です。
この不均一性は、サーバーへのモデル伝送中のローカルデータ分布と潜時の不均一性に関するデータの不均一性として現れます。
以前の研究では、これらの不均一性のいずれかの負の影響を個別に緩和するためのさまざまな効率的なクライアント選択方法を導入しましたが、これらの不均一性の両方が同時に存在しない現実世界の設定を処理する効率的な方法は存在しません。
この論文では、これらの両方の不均一性を処理できる2つの新しい理論的に最適なクライアント選択スキームを提案します。
私たちの方法では、理論的実行時間を収束に最小化することにより得られるラウンドごとに、単純な最適化問題を解決することが含まれます。
非IIDデータ分布、2つの実用的な遅延分布、および非凸ニューラルネットワークモデルを備えた9つのデータセットでの経験的評価は、私たちのアルゴリズムが少なくとも既存のベースラインよりも少なくとも20倍優れていることを示しています。

要約(オリジナル)

Federated learning (FL) is a distributed machine learning paradigm where multiple clients conduct local training based on their private data, then the updated models are sent to a central server for global aggregation. The practical convergence of FL is challenged by multiple factors, with the primary hurdle being the heterogeneity among clients. This heterogeneity manifests as data heterogeneity concerning local data distribution and latency heterogeneity during model transmission to the server. While prior research has introduced various efficient client selection methods to alleviate the negative impacts of either of these heterogeneities individually, efficient methods to handle real-world settings where both these heterogeneities exist simultaneously do not exist. In this paper, we propose two novel theoretically optimal client selection schemes that can handle both these heterogeneities. Our methods involve solving simple optimization problems every round obtained by minimizing the theoretical runtime to convergence. Empirical evaluations on 9 datasets with non-iid data distributions, 2 practical delay distributions, and non-convex neural network models demonstrate that our algorithms are at least competitive to and at most 20 times better than best existing baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google