Advancing Personalized Federated Learning: Group Privacy, Fairness, and Beyond

要約

Federated Learning（FL）は、機械学習モデルを分散協調的に学習するためのフレームワークである。学習中、参加するクライアントのセットは、ローカルに保存されたデータを処理し、ローカル入力に対するコスト関数を最小化することで得られるモデルの更新のみを共有する。FLは、プライバシー保護された機械学習への足がかりとして提案されたが、個人情報の漏洩、モデルのパーソナライゼーションの欠如、あるグループに対して他のグループよりも公平な学習モデルを持つ可能性などの問題に対して脆弱であることが示されている。本論文では、FLフレームワークの中で学習されたモデルが達成する、個人化、プライバシー保証、公平性の間の三項相互作用を扱う。差分プライバシーとその変種は、正式なプライバシー保証を提供するための最先端の標準として研究され、適用されてきた。しかしながら、FLにおけるクライアントは、異種コミュニティを代表する非常に多様なデータセットを保持していることが多く、学習されたモデルがユーザにとっての公平性の側面を維持することを保証しつつ、彼らの機密情報を保護することが重要である。この目的を達成するために、$d$プライバシー（別名メトリックプライバシー）を利用することにより、グループプライバシーの保証を導入する方法を提案する。d$プライバシーは、局所化された差分プライバシーの一形態であり、元のデータのトポロジー分布を維持するために、メトリック指向の難読化アプローチに依存する。この方法は、連合アプローチでパーソナライズされたモデル学習を可能にし、形式的なプライバシー保証を提供するだけでなく、古典的なFLテンプレート内で学習されたグローバルモデルよりも、様々な標準的なメトリクスで測定されたグループの公平性が著しく優れている。提案手法の適用可能性を示す理論的根拠と、実世界のデータセットにおける実験的検証を提供する。

要約(オリジナル)

Federated learning (FL) is a framework for training machine learning models in a distributed and collaborative manner. During training, a set of participating clients process their data stored locally, sharing only the model updates obtained by minimizing a cost function over their local inputs. FL was proposed as a stepping-stone towards privacy-preserving machine learning, but it has been shown vulnerable to issues such as leakage of private information, lack of personalization of the model, and the possibility of having a trained model that is fairer to some groups than to others. In this paper, we address the triadic interaction among personalization, privacy guarantees, and fairness attained by models trained within the FL framework. Differential privacy and its variants have been studied and applied as cutting-edge standards for providing formal privacy guarantees. However, clients in FL often hold very diverse datasets representing heterogeneous communities, making it important to protect their sensitive information while still ensuring that the trained model upholds the aspect of fairness for the users. To attain this objective, a method is put forth that introduces group privacy assurances through the utilization of $d$-privacy (aka metric privacy). $d$-privacy represents a localized form of differential privacy that relies on a metric-oriented obfuscation approach to maintain the original data’s topological distribution. This method, besides enabling personalized model training in a federated approach and providing formal privacy guarantees, possesses significantly better group fairness measured under a variety of standard metrics than a global model trained within a classical FL template. Theoretical justifications for the applicability are provided, as well as experimental validation on real-world datasets to illustrate the working of the proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL