Towards Trustworthy Federated Learning with Untrusted Participants

要約

悪意のある参加者とデータのプライバシーに対する回復力は、信頼できる連合学習に不可欠ですが、通常、両方を達成するには通常、信頼できる中央サーバーの強い仮定が必要です。
このホワイトペーパーでは、非常に弱い仮定で十分であることが示されています。参加者の各ペアは、他の人に知られていないランダム性の種を共有しています。
悪意のある参加者が信頼できないサーバーと共謀する可能性のある設定では、参加者間の共有ランダム性を使用して、堅牢な勾配集計と相関ノイズインジェクションを統合するアルゴリズムであるCafcorを提案します。
CAFCORは、サーバーが完全に信頼されている中央のDPユーティリティに近づいている間、信頼の仮定を行うことのないローカルディファレンシャルプライバシー（DP）メソッドを大幅に上回っている強力なプライバシー性の高いトレードオフを達成していることを証明しています。
標準ベンチマークの経験的結果は、Cafcorの実用性を検証し、プライバシーと堅牢性がユーティリティを犠牲にしたり、サーバーを信頼したりせずに分散システムに共存できることを示しています。

要約(オリジナル)

Resilience against malicious participants and data privacy are essential for trustworthy federated learning, yet achieving both with good utility typically requires the strong assumption of a trusted central server. This paper shows that a significantly weaker assumption suffices: each pair of participants shares a randomness seed unknown to others. In a setting where malicious participants may collude with an untrusted server, we propose CafCor, an algorithm that integrates robust gradient aggregation with correlated noise injection, using shared randomness between participants. We prove that CafCor achieves strong privacy-utility trade-offs, significantly outperforming local differential privacy (DP) methods, which do not make any trust assumption, while approaching central DP utility, where the server is fully trusted. Empirical results on standard benchmarks validate CafCor’s practicality, showing that privacy and robustness can coexist in distributed systems without sacrificing utility or trusting the server.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google