Differentially Private Online Federated Learning with Correlated Noise

要約

我々は、継続的にリリースされるモデルのプライバシーを確​​保しながら、時間的に相関するノイズを使用して実用性を向上させる、オンライン連合学習のための新しい差分プライベートアルゴリズムを提案します。
DP ノイズとストリーミング noniid データによるローカル更新に起因する課題に対処するために、ユーティリティに対する DP ノイズの影響を制御する摂動反復分析を開発しました。
さらに、準強力な凸状条件下でローカル更新によるドリフト エラーを効果的に管理する方法を示します。
$(\epsilon, \delta)$-DP 予算に従って、主要なパラメータの影響と動的環境における変化の強さを定量化する、期間全体にわたる動的リグレスバウンドを確立します。
数値実験により、提案されたアルゴリズムの有効性が検証されます。

要約(オリジナル)

We propose a novel differentially private algorithm for online federated learning that employs temporally correlated noise to improve the utility while ensuring the privacy of the continuously released models. To address challenges stemming from DP noise and local updates with streaming noniid data, we develop a perturbed iterate analysis to control the impact of the DP noise on the utility. Moreover, we demonstrate how the drift errors from local updates can be effectively managed under a quasi-strong convexity condition. Subject to an $(\epsilon, \delta)$-DP budget, we establish a dynamic regret bound over the entire time horizon that quantifies the impact of key parameters and the intensity of changes in dynamic environments. Numerical experiments validate the efficacy of the proposed algorithm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google