Secure Aggregation is Not Private Against Membership Inference Attacks

要約

安全な集約 (SecAgg) は、フェデレーテッド ラーニングで一般的に使用されるプライバシー強化メカニズムであり、個々の更新の機密性を保護しながら、サーバーにモデル更新の集約へのアクセスのみを許可します。
SecAgg のプライバシー保護機能について広く主張されているにもかかわらず、そのプライバシーの正式な分析は不足しており、そのような推定は不当なものとなっています。
このペーパーでは、SecAgg をローカル更新ごとのローカル差分プライバシー (LDP) メカニズムとして扱うことにより、SecAgg のプライバシーへの影響を詳しく掘り下げます。
私たちは、敵対的なサーバーが、SecAgg に基づくフェデレーテッド ラーニングの 1 回のトレーニング ラウンドで、クライアントが送信した更新ベクトルを 2 つの可能な更新ベクトルから識別しようとする単純な攻撃を設計します。
プライバシー監査を実施することで、この攻撃の成功確率を評価し、SecAgg が提供するLDP 保証を定量化します。
私たちの数値結果は、一般的な主張に反して、たとえ 1 回のトレーニング ラウンドであっても、SecAgg がメンバーシップ推論攻撃に対して弱いプライバシーを提供することを明らかにしました。
実際、更新が高次元である場合、他の独立したローカル更新を追加してローカル更新を隠すことは困難です。
私たちの調査結果は、フェデレーション ラーニングにおいて、ノイズ挿入などの追加のプライバシー強化メカニズムが不可欠であることを強調しています。

要約(オリジナル)

Secure aggregation (SecAgg) is a commonly-used privacy-enhancing mechanism in federated learning, affording the server access only to the aggregate of model updates while safeguarding the confidentiality of individual updates. Despite widespread claims regarding SecAgg’s privacy-preserving capabilities, a formal analysis of its privacy is lacking, making such presumptions unjustified. In this paper, we delve into the privacy implications of SecAgg by treating it as a local differential privacy (LDP) mechanism for each local update. We design a simple attack wherein an adversarial server seeks to discern which update vector a client submitted, out of two possible ones, in a single training round of federated learning under SecAgg. By conducting privacy auditing, we assess the success probability of this attack and quantify the LDP guarantees provided by SecAgg. Our numerical results unveil that, contrary to prevailing claims, SecAgg offers weak privacy against membership inference attacks even in a single training round. Indeed, it is difficult to hide a local update by adding other independent local updates when the updates are of high dimension. Our findings underscore the imperative for additional privacy-enhancing mechanisms, such as noise injection, in federated learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google