Noise-Aware Algorithm for Heterogeneous Differentially Private Federated Learning

要約

高いユーティリティと厳格なデータプライバシーは、一部のクライアント間で分散されたデータからモデルを学習するフェデレートラーニング（FL）システムの主な目標です。
後者は、FL（DPFL）の差別的なプライバシーを使用して達成しようと試みられています。
多くの場合、クライアントのプライバシー要件には不均一性があり、既存のDPFLは、クライアントの均一なプライバシー要件を想定するか、サーバーが完全に信頼されていない場合に適用できません（私たちの設定）。
さらに、クライアントのバッチおよび/またはデータセットサイズには不均一性がしばしばあり、示されているように、クライアントモデルの更新全体でDPノイズレベルに余分な変動が生じます。
これらの不均一性のソースにより、たとえば、プライバシーパラメーターに比例したクライアントの集約重みを割り当てるたとえば、単純な集約戦略があります。
堅牢なHDPを提案します。これは、クライアントのモデルの更新の真のノイズレベルを効率的に推定し、集約されたモデルの更新のノイズレベルを大幅に削減します。
Robust-HDPはユーティリティと収束速度を向上させますが、偽造されたプライバシーパラメーターをサーバーに悪意を持って送信する可能性のあるクライアントに安全であることがあります。
複数のデータセットと当社の理論分析での広範な実験結果は、堅牢なHDPの有効性を確認します。
私たちのコードはここにあります。

要約(オリジナル)

High utility and rigorous data privacy are of the main goals of a federated learning (FL) system, which learns a model from the data distributed among some clients. The latter has been tried to achieve by using differential privacy in FL (DPFL). There is often heterogeneity in clients privacy requirements, and existing DPFL works either assume uniform privacy requirements for clients or are not applicable when server is not fully trusted (our setting). Furthermore, there is often heterogeneity in batch and/or dataset size of clients, which as shown, results in extra variation in the DP noise level across clients model updates. With these sources of heterogeneity, straightforward aggregation strategies, e.g., assigning clients aggregation weights proportional to their privacy parameters will lead to lower utility. We propose Robust-HDP, which efficiently estimates the true noise level in clients model updates and reduces the noise-level in the aggregated model updates considerably. Robust-HDP improves utility and convergence speed, while being safe to the clients that may maliciously send falsified privacy parameter to server. Extensive experimental results on multiple datasets and our theoretical analysis confirm the effectiveness of Robust-HDP. Our code can be found here.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google