Client-supervised Federated Learning: Towards One-model-for-all Personalization

要約

Personalized Federated Learning (PerFL) は、フェデレーテッド ラーニング設定で多様なクライアントにパーソナライズされたモデルを提供する新しい機械学習パラダイムです。
ほとんどの PerFL メソッドでは、独自のローカル データを使用して、グローバルに共有されたモデルをクライアント固有のパーソナライズされたモデルに適応させるために、クライアント上で追加の学習プロセスが必要になります。
ただし、PerFL でのモデル適応プロセスは、モデルの展開とテスト時間の段階では依然として未解決の課題です。
この研究では、FL システムの目に見えない/テスト クライアント上でパーソナライズされたモデルに匹敵するパフォーマンスを達成するために、1 つの堅牢なグローバル モデルのみを学習する新しいフェデレーテッド ラーニング フレームワークを提案することで、この課題に取り組みます。
具体的には、グローバル モデルがクライアント固有の知識とクライアントに依存しない知識の両方を学習できるように、インスタンスの潜在表現に対するクライアントのバイアスを解明する新しいクライアント教師あり連合学習 (FedCS) を設計します。
実験的研究では、FedCS が、目に見えない/テスト クライアントの変化するデータ分布に対する堅牢な FL グローバル モデルを学習できることが示されています。
FedCS のグローバル モデルは、モデルの適応を必要とする他のパーソナライズされた FL 手法と同等のパフォーマンスを達成しながら、テスト クライアントに直接展開できます。

要約(オリジナル)

Personalized Federated Learning (PerFL) is a new machine learning paradigm that delivers personalized models for diverse clients under federated learning settings. Most PerFL methods require extra learning processes on a client to adapt a globally shared model to the client-specific personalized model using its own local data. However, the model adaptation process in PerFL is still an open challenge in the stage of model deployment and test time. This work tackles the challenge by proposing a novel federated learning framework to learn only one robust global model to achieve competitive performance to those personalized models on unseen/test clients in the FL system. Specifically, we design a new Client-Supervised Federated Learning (FedCS) to unravel clients’ bias on instances’ latent representations so that the global model can learn both client-specific and client-agnostic knowledge. Experimental study shows that the FedCS can learn a robust FL global model for the changing data distributions of unseen/test clients. The FedCS’s global model can be directly deployed to the test clients while achieving comparable performance to other personalized FL methods that require model adaptation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google