Cross-silo Federated Learning with Record-level Personalized Differential Privacy

要約

差分プライバシーによって強化されたフェデレーテッド ラーニングは、トレーニング プロセス中のクライアントの貢献を保護することで、クライアント側のデータのプライバシーをより適切に保護する一般的なアプローチとして浮上しています。
既存のソリューションは通常、すべてのレコードに対して均一なプライバシー予算を想定しており、各レコードのプライバシー要件を満たすには不十分な画一的なソリューションを提供しています。
このペーパーでは、記録レベルのパーソナライズされた差分プライバシーを備えたクロスサイロ FL の未知の領域を探索します。
私たちは、さまざまなプライバシー要件に対応するために、クライアント レベルのサンプリングと不均一なレコード レベルのサンプリングの両方を備えた 2 段階のハイブリッド サンプリング スキームを採用した、rPDP-FL という新しいフレームワークを考案しました。
重要かつ自明ではない問題は、個人向けのプライバシー予算 {\epsilon} を考慮して、理想的なレコードごとのサンプリング確率 q を選択することです。
Simulation-CurveFitting という多用途のソリューションを導入することで、q と {\epsilon} の間の非線形相関についての重要な洞察を明らかにし、問題に取り組むための洗練された数学モデルを導き出すことができます。
私たちの評価では、私たちのソリューションが、パーソナライズされたプライバシー保護を考慮していないベースラインと比較して、大幅なパフォーマンス向上を実現できることが実証されています。

要約(オリジナル)

Federated learning enhanced by differential privacy has emerged as a popular approach to better safeguard the privacy of client-side data by protecting clients’ contributions during the training process. Existing solutions typically assume a uniform privacy budget for all records and provide one-size-fits-all solutions that may not be adequate to meet each record’s privacy requirement. In this paper, we explore the uncharted territory of cross-silo FL with record-level personalized differential privacy. We devise a novel framework named rPDP-FL, employing a two-stage hybrid sampling scheme with both client-level sampling and non-uniform record-level sampling to accommodate varying privacy requirements. A critical and non-trivial problem is to select the ideal per-record sampling probability q given the personalized privacy budget {\epsilon}. We introduce a versatile solution named Simulation-CurveFitting, allowing us to uncover a significant insight into the nonlinear correlation between q and {\epsilon} and derive an elegant mathematical model to tackle the problem. Our evaluation demonstrates that our solution can provide significant performance gains over the baselines that do not consider personalized privacy preservation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google