Greedy Shapley Client Selection for Communication-Efficient Federated Learning

要約

Federated Learning (FL) の標準的なクライアント選択アルゴリズムは、多くの場合、不偏であり、クライアントの均一なランダム サンプリングが含まれます。
これは、クライアント間でのデータ分散、コンピューティング、および通信リソースの大幅な不均一性を特徴とする実際の設定では、高速コンバージェンスにとって最適ではないことが証明されています。
パラメータ サーバー (PS) との通信機会が限られているためにタイミング制約があるアプリケーションの場合、通信ラウンドの固定予算内でモデル トレーニングを完了するにはクライアント選択戦略が重要です。
これに対処するために、私たちは、各コミュニケーション ラウンドで最も貢献しているクライアントを特定し、貪欲に選択する、偏ったクライアント選択戦略 GreedyFed を開発しました。
この方法は、PS での Shapley 値の高速近似アルゴリズムに基づいて構築されており、多くのクライアントを使用する現実世界のアプリケーションで計算を扱いやすくしています。
いくつかの実世界のデータセットに対するさまざまなクライアント選択戦略と比較して、GreedyFed は、タイミング制約の下で、またデータ分散、システム制約、およびプライバシー要件に高度な異質性を課す場合に、高精度で高速かつ安定したコンバージェンスを実証します。

要約(オリジナル)

The standard client selection algorithms for Federated Learning (FL) are often unbiased and involve uniform random sampling of clients. This has been proven sub-optimal for fast convergence under practical settings characterized by significant heterogeneity in data distribution, computing, and communication resources across clients. For applications having timing constraints due to limited communication opportunities with the parameter server (PS), the client selection strategy is critical to complete model training within the fixed budget of communication rounds. To address this, we develop a biased client selection strategy, GreedyFed, that identifies and greedily selects the most contributing clients in each communication round. This method builds on a fast approximation algorithm for the Shapley Value at the PS, making the computation tractable for real-world applications with many clients. Compared to various client selection strategies on several real-world datasets, GreedyFed demonstrates fast and stable convergence with high accuracy under timing constraints and when imposing a higher degree of heterogeneity in data distribution, systems constraints, and privacy requirements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google