FilFL: Client Filtering for Optimized Client Participation in Federated Learning

要約

新しい機械学習パラダイムであるフェデレーテッド ラーニングを使用すると、クライアントはローカル データを交換せずにモデルを共同でトレーニングできます。
トレーニング プロセスに参加するクライアントは、収束率、学習効率、モデルの一般化に大きな影響を与えます。
私たちは、モデルの一般化を改善し、クライアントの参加とトレーニングを最適化するための新しいアプローチであるクライアント フィルタリングを提案します。
提案された方法は、効率的な貪欲フィルタリング アルゴリズムを使用して、組み合わせ目的関数を最大化するサブセットを識別するために、利用可能なクライアントを定期的にフィルタリングします。
したがって、クライアントは個別ではなく組み合わせとして評価されます。
私たちは、異種環境におけるフェデレーテッド ラーニングとクライアント フィルタリングの収束を理論的に分析し、クライアントの可用性が時間的に変化する現実的なシナリオを含む、多様な視覚および言語タスクにわたるパフォーマンスを評価します。
私たちの実証結果は、学習効率の向上、収束の高速化、クライアント フィルタリングなしのトレーニングと比べて最大 10% 高いテスト精度など、私たちのアプローチのいくつかの利点を示しています。

要約(オリジナル)

Federated learning, an emerging machine learning paradigm, enables clients to collaboratively train a model without exchanging local data. Clients participating in the training process significantly impact the convergence rate, learning efficiency, and model generalization. We propose a novel approach, client filtering, to improve model generalization and optimize client participation and training. The proposed method periodically filters available clients to identify a subset that maximizes a combinatorial objective function with an efficient greedy filtering algorithm. Thus, the clients are assessed as a combination rather than individually. We theoretically analyze the convergence of federated learning with client filtering in heterogeneous settings and evaluate its performance across diverse vision and language tasks, including realistic scenarios with time-varying client availability. Our empirical results demonstrate several benefits of our approach, including improved learning efficiency, faster convergence, and up to 10% higher test accuracy than training without client filtering.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google