Fine-Tuning Personalization in Federated Learning to Mitigate Adversarial Clients

要約

フェデレーテッド ラーニング (FL) は、データをローカルに保ちながら、マシンのグループ (別名クライアント) が集合的に学習できるようにする魅力的なパラダイムです。
ただし、クライアントのデータ分布間の異質性により、FL アルゴリズムの使用を通じて取得されたモデルは、一部のクライアントのデータではパフォーマンスが低下する可能性があります。
パーソナライゼーションは、各クライアントが自分のデータに合わせて調整された異なるモデルを使用できるようにすると同時に、他のクライアントのデータから恩恵を受けることを可能にすることで、この問題に対処します。
一部のクライアントが敵対的になる可能性がある FL 設定を考慮し、完全なコラボレーションが失敗する条件を導き出します。
具体的には、敵対的なクライアントの存在下で補間されたパーソナライズされた FL フレームワークの一般化パフォーマンスを分析し、完​​全なコラボレーションのパフォーマンスが微調整されたパーソナライゼーションよりも厳密に劣る状況を正確に特徴付けます。
私たちの分析では、データの異質性と敵対的なクライアントの許容範囲に応じて、コラボレーションのレベルをどの程度縮小する必要があるかを決定します。
合成画像分類データセットとベンチマーク画像分類データセットを考慮した、平均推定とバイナリ分類問題に関する経験的結果によって、私たちの発見を裏付けています。

要約(オリジナル)

Federated learning (FL) is an appealing paradigm that allows a group of machines (a.k.a. clients) to learn collectively while keeping their data local. However, due to the heterogeneity between the clients’ data distributions, the model obtained through the use of FL algorithms may perform poorly on some client’s data. Personalization addresses this issue by enabling each client to have a different model tailored to their own data while simultaneously benefiting from the other clients’ data. We consider an FL setting where some clients can be adversarial, and we derive conditions under which full collaboration fails. Specifically, we analyze the generalization performance of an interpolated personalized FL framework in the presence of adversarial clients, and we precisely characterize situations when full collaboration performs strictly worse than fine-tuned personalization. Our analysis determines how much we should scale down the level of collaboration, according to data heterogeneity and the tolerable fraction of adversarial clients. We support our findings with empirical results on mean estimation and binary classification problems, considering synthetic and benchmark image classification datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google