FedSPD: A Soft-clustering Approach for Personalized Decentralized Federated Learning

要約

フェデレーテッド ラーニングは、分散クライアントがローカル データを使用して機械学習モデルを共同でトレーニングするためのフレームワークとして最近人気が高まっています。
従来のフェデレーテッド ラーニングはモデルの集約に中央サーバーに依存していますが、最近の進歩では分散フレームワークが採用されており、クライアント間でのモデルの直接交換が可能になり、単一障害点が排除されます。
ただし、既存の分散フレームワークでは、すべてのクライアントが共有モデルをトレーニングすることを前提としていることがよくあります。
各クライアントのモデルをパーソナライズすると、特に異種クライアント データ分散の場合のパフォーマンスが向上します。
私たちは、分散型環境向けの効率的なパーソナライズされたフェデレーション学習アルゴリズムである FedSPD を提案し、接続性の低いネットワークでも正確なモデルを学習することを示します。
収束の理論的保証を提供するために、異なるクライアントでのこれらのクラスターの独自の混合に合わせてパーソナライズしながら、個別のデータ クラスターのモデルに関するコンセンサスを可能にするクラスタリング ベースのフレームワークを導入します。
この柔軟性により、データ配信に基づいた選択的なモデル更新が可能になり、分散設定でのパーソナライズされたフェデレーテッド ラーニングに関する以前の作業と比較して、通信コストが大幅に削減されます。
実世界のデータセットでの実験結果では、特に接続性の低いネットワークのシナリオでは、FedSPD がパーソナライズされたフェデレーテッド ラーニング アルゴリズムの複数の分散型アルゴリズムよりも優れたパフォーマンスを発揮することが示されています。

要約(オリジナル)

Federated learning has recently gained popularity as a framework for distributed clients to collaboratively train a machine learning model using local data. While traditional federated learning relies on a central server for model aggregation, recent advancements adopt a decentralized framework, enabling direct model exchange between clients and eliminating the single point of failure. However, existing decentralized frameworks often assume all clients train a shared model. Personalizing each client’s model can enhance performance, especially with heterogeneous client data distributions. We propose FedSPD, an efficient personalized federated learning algorithm for the decentralized setting, and show that it learns accurate models even in low-connectivity networks. To provide theoretical guarantees on convergence, we introduce a clustering-based framework that enables consensus on models for distinct data clusters while personalizing to unique mixtures of these clusters at different clients. This flexibility, allowing selective model updates based on data distribution, substantially reduces communication costs compared to prior work on personalized federated learning in decentralized settings. Experimental results on real-world datasets show that FedSPD outperforms multiple decentralized variants of personalized federated learning algorithms, especially in scenarios with low-connectivity networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google