Share Your Representation Only: Guaranteed Improvement of the Privacy-Utility Tradeoff in Federated Learning

要約

フェデレーション ラーニングでパラメータ共有が繰り返されると、プライベート データに関する重大な情報漏洩が発生し、その主な目的であるデータ プライバシーが損なわれます。
最先端の差分プライベート アルゴリズムを使用してこの情報漏洩のリスクを軽減することも、無料ではありません。
ランダム化されたメカニズムは、特に分類関数に関してローカル モデル間で不一致が大きい場合 (データの異質性により)、有用な表現関数であっても学習モデルの収束を妨げる可能性があります。
この論文では、さまざまな関係者が差分プライバシーを保証しながら、モデルのコンセンサス部分を共同で改良することを奨励しながら、ローカルのパーソナライゼーションのための十分な自由を個別に (解放せずに) 許可する、表現連合学習目標を検討します。
線形表現設定では、目的が非凸である一方で、私たちが提案した新しいアルゴリズム \DPFEDREP\ は線形率で \emph{global最適} 解を中心としたボールに収束し、ボールの半径は
プライバシー予算の逆数に比例します。
この新しいユーティリティ分析により、この問題に対する SOTA ユーティリティとプライバシーのトレードオフを $\sqrt{d}$ 倍改善します ($d$ は入力次元です)。
私たちは、CIFAR10、CIFAR100、およびEMNISTの画像分類タスクを使用してこの方法を経験的に評価し、同じ小さなプライバシー予算の下で以前の研究と比較して大幅なパフォーマンスの向上を観察しました。
コードはリンク https://github.com/shenzebang/CENTAUR-Privacy-Federated-Representation-Learning にあります。

要約(オリジナル)

Repeated parameter sharing in federated learning causes significant information leakage about private data, thus defeating its main purpose: data privacy. Mitigating the risk of this information leakage, using state of the art differentially private algorithms, also does not come for free. Randomized mechanisms can prevent convergence of models on learning even the useful representation functions, especially if there is more disagreement between local models on the classification functions (due to data heterogeneity). In this paper, we consider a representation federated learning objective that encourages various parties to collaboratively refine the consensus part of the model, with differential privacy guarantees, while separately allowing sufficient freedom for local personalization (without releasing it). We prove that in the linear representation setting, while the objective is non-convex, our proposed new algorithm \DPFEDREP\ converges to a ball centered around the \emph{global optimal} solution at a linear rate, and the radius of the ball is proportional to the reciprocal of the privacy budget. With this novel utility analysis, we improve the SOTA utility-privacy trade-off for this problem by a factor of $\sqrt{d}$, where $d$ is the input dimension. We empirically evaluate our method with the image classification task on CIFAR10, CIFAR100, and EMNIST, and observe a significant performance improvement over the prior work under the same small privacy budget. The code can be found in this link: https://github.com/shenzebang/CENTAUR-Privacy-Federated-Representation-Learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google