Federated Learning Can Find Friends That Are Beneficial

要約

Federated Learning (FL) では、クライアント データの分散性と異質性が機会と課題の両方をもたらします。
クライアント間のコラボレーションは学習プロセスを大幅に強化できますが、すべてのコラボレーションが有益であるわけではありません。
中には有害なものさえあるかもしれません。
この研究では、FL トレーニングに参加しているクライアントに適応的な集計の重みを割り当て、特定の学習目標に最も役立つデータ分布を持つクライアントを識別する新しいアルゴリズムを導入します。
私たちの集約方法は、同じデータ分布を持つクライアントから受信した更新のみを集約する方法と同じくらい収束することを示します。
さらに、経験的評価により、私たちのアルゴリズムに基づいたコラボレーションが従来の FL アプローチよりも優れたパフォーマンスを発揮することが一貫して明らかになりました。
これは、賢明なクライアント選択の重要な役割を強調し、今後数年間でより合理化された効果的な FL 実装の基礎を築きます。

要約(オリジナル)

In Federated Learning (FL), the distributed nature and heterogeneity of client data present both opportunities and challenges. While collaboration among clients can significantly enhance the learning process, not all collaborations are beneficial; some may even be detrimental. In this study, we introduce a novel algorithm that assigns adaptive aggregation weights to clients participating in FL training, identifying those with data distributions most conducive to a specific learning objective. We demonstrate that our aggregation method converges no worse than the method that aggregates only the updates received from clients with the same data distribution. Furthermore, empirical evaluations consistently reveal that collaborations guided by our algorithm outperform traditional FL approaches. This underscores the critical role of judicious client selection and lays the foundation for more streamlined and effective FL implementations in the coming years.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google