Topology-Based Reconstruction Prevention for Decentralised Learning

要約

分散型学習は、データと調整の両方が分散される連合学習に代わるものとして、最近注目を集めています。
ユーザーのデータの機密性を維持するために、分散学習は差分プライバシー、マルチパーティ コンピューティング、またはその両方に依存します。
ただし、複数のプライバシー保護の合計を順番に実行すると、敵対者が再構築攻撃を実行できる可能性があります。
現在の再構築対策は、分散設定に簡単に適応できないか、過剰な量のノイズを追加するかのどちらかです。
この研究では、受動的な正直だが好奇心旺盛な敵が、プライバシーを保護するためにいくつかの合計を行った後、他のユーザーの個人データを推測できることを最初に示します。
たとえば、ユーザー 18 人のサブグラフでは、受動的で正直だが好奇心旺盛な攻撃者は 3 人だけが 11.0% の確率でプライベート データの再構築に成功し、攻撃者ごとに平均 8.8 回の合計が必要であることがわかります。
成功率は敵の直接の近隣にのみ依存し、ネットワーク全体のサイズには依存しません。
私たちは、グラフ トポロジを制御せず、合計の内部動作を利用できず、補助的な知識を持たない弱い敵を考慮します。
そして、これらの攻撃者が依然として個人データを推測できることを示します。
私たちは、再構築がトポロジーにどのように関係するかを分析し、再構築攻撃に対する初のトポロジーベースの分散型防御を提案します。
再構築には、ネットワークの最短サイクルの長さにおいて線形に多数の敵対者が必要であることを示します。
したがって、非周期ネットワークでは、プライバシーを保護する合計に対する正確な攻撃は不可能です。
私たちの研究は、トポロジーベースの分散型再構成防御の正式理論への足がかりです。
このような理論は、合計を超えて私たちの対策を一般化し、エントロピーの観点から機密性を定義し、（トポロジーを意識した）差分プライバシーとの相互作用を説明します。

要約(オリジナル)

Decentralised learning has recently gained traction as an alternative to federated learning in which both data and coordination are distributed. To preserve the confidentiality of users’ data, decentralised learning relies on differential privacy, multi-party computation, or both. However, running multiple privacy-preserving summations in sequence may allow adversaries to perform reconstruction attacks. Current reconstruction countermeasures either cannot trivially be adapted to the distributed setting, or add excessive amounts of noise. In this work, we first show that passive honest-but-curious adversaries can infer other users’ private data after several privacy-preserving summations. For example, in subgraphs with 18 users, we show that only three passive honest-but-curious adversaries succeed at reconstructing private data 11.0% of the time, requiring an average of 8.8 summations per adversary. The success rate depends only on the adversaries’ direct neighbourhood, and is independent of the size of the full network. We consider weak adversaries that do not control the graph topology, cannot exploit the summation’s inner workings, and do not have auxiliary knowledge; and show that these adversaries can still infer private data. We analyse how reconstruction relates to topology and propose the first topology-based decentralised defence against reconstruction attacks. We show that reconstruction requires a number of adversaries linear in the length of the network’s shortest cycle. Consequently, exact attacks over privacy-preserving summations are impossible in acyclic networks. Our work is a stepping stone for a formal theory of topology-based decentralised reconstruction defences. Such a theory would generalise our countermeasure beyond summation, define confidentiality in terms of entropy, and describe the interactions with (topology-aware) differential privacy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google