DPP-based Client Selection for Federated Learning with Non-IID Data

要約

この論文では、連合学習 (FL) の通信ボトルネックに取り組むと同時に、FL のデータの不均一性の問題に対処するためのクライアント選択 (CS) 方法を提案します。
具体的には、最初に FL での CS の効果を分析し、トレーニングの各ラウンドでトレーニング データセットを多様化する参加者を適切に選択することで、FL トレーニングを加速できることを示します。
これに基づいて、データ プロファイリングと決定点プロセス (DPP) サンプリング手法を活用して、DPP ベースの参加者選択による連合学習 (FL-DP$^3$S) と呼ばれるアルゴリズムを開発します。
このアルゴリズムは、データのプライバシーを保護しながら、トレーニングの各ラウンドで参加者のデータセットを効果的に多様化します。
提案した方法の有効性を調べるために広範な実験を行います。
結果は、私たちのスキームがより速い収束率を達成するだけでなく、いくつかのベースラインよりも小さい通信オーバーヘッドを達成することを示しています.

要約(オリジナル)

This paper proposes a client selection (CS) method to tackle the communication bottleneck of federated learning (FL) while concurrently coping with FL’s data heterogeneity issue. Specifically, we first analyze the effect of CS in FL and show that FL training can be accelerated by adequately choosing participants to diversify the training dataset in each round of training. Based on this, we leverage data profiling and determinantal point process (DPP) sampling techniques to develop an algorithm termed Federated Learning with DPP-based Participant Selection (FL-DP$^3$S). This algorithm effectively diversifies the participants’ datasets in each round of training while preserving their data privacy. We conduct extensive experiments to examine the efficacy of our proposed method. The results show that our scheme attains a faster convergence rate, as well as a smaller communication overhead than several baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google