Greedy Shapley Client Selection for Communication-Efficient Federated Learning

要約

Federated Learning (FL) の標準的なクライアント選択アルゴリズムは、多くの場合、不偏であり、クライアントの均一なランダム サンプリングが含まれます。
これは、クライアント間でのデータ分散、コンピューティングおよび通信リソースの大幅な不均一性を特徴とする実際の設定では、高速コンバージェンスにとって最適ではないことが証明されています。
限られた通信機会によりタイミング制約があるアプリケーションの場合、通信ラウンドの固定予算内でモデルのトレーニングを完了するには、クライアントの選択戦略が重要です。
これに対処するために、私たちは、各コミュニケーション ラウンドで最も貢献しているクライアントを特定し、貪欲に選択する、偏ったクライアント選択戦略 GreedyFed を開発しました。
この方法は、パラメーター サーバー (PS) での Shapley 値の高速近似アルゴリズムに基づいて構築されており、多くのクライアントを使用する現実世界のアプリケーションで計算を扱いやすくしています。
いくつかの実世界のデータセットに対するさまざまなクライアント選択戦略と比較して、GreedyFed は、タイミング制約やデータ分散、システム制約、プライバシー要件における高度な異質性の下で、高精度で高速かつ安定したコンバージェンスを実証します。

要約(オリジナル)

The standard client selection algorithms for Federated Learning (FL) are often unbiased and involve uniform random sampling of clients. This has been proven sub-optimal for fast convergence under practical settings characterized by significant heterogeneity in data distribution and computing and communication resources across clients. For applications having timing constraints due to limited communication opportunities, the client selection strategy is critical to complete model training within the fixed budget of communication rounds. To address this, we develop a biased client selection strategy, GreedyFed that identifies and greedily selects the most contributing clients in each communication round. This method builds on a fast approximation algorithm for the Shapley Value at the parameter server (PS), making the computation tractable for real-world applications with many clients. Compared to various client selection strategies on several real-world datasets, GreedyFed demonstrates fast and stable convergence with high accuracy under timing constraints and a higher degree of heterogeneity in data distribution, systems constraints, and privacy requirements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google