Topology-Based Reconstruction Prevention for Decentralised Learning

要約

分散型学習は、データと調整の両方がユーザーに分散されるフェデレーション ラーニングの代替として、最近注目を集めています。
ユーザーのデータの機密性を維持するために、分散学習は差分プライバシー、マルチパーティ計算、またはそれらの組み合わせに依存します。
ただし、複数のプライバシー保護の合計を順番に実行すると、敵対者が再構成攻撃を実行できる可能性があります。
残念ながら、現在の再構築対策は、分散設定に簡単に適応できないか、過剰な量のノイズを追加するかのどちらかです。
この研究では、受動的な正直だが好奇心旺盛な敵が、プライバシーを保護するためにいくつかの合計を行った後、他のユーザーの個人データを再構築できることを最初に示します。
たとえば、ユーザー 18 人のサブグラフでは、受動的で正直だが好奇心旺盛な攻撃者は 3 人だけが 11.0% の確率でプライベート データの再構築に成功し、攻撃者ごとに平均 8.8 回の合計が必要であることがわかります。
成功率はネットワーク全体のサイズには依存しません。
私たちは、グラフ トポロジを制御せず、合計プロトコルの動作もユーザー データの詳細も悪用できない弱い敵対者を考慮します。
私たちは、再構築がトポロジーにどのように関係するのかについて数学的理解を深め、再構築攻撃に対する初のトポロジーベースの分散型防御を提案します。
具体的には、再構築には、ネットワークの最短サイクルの長さにおいて線形に多数の敵対者が必要であることを示します。
したがって、非周期ネットワークでは、プライバシーを保護する合計からプライベート データを再構築することは不可能です。
私たちの研究は、トポロジーに基づいた分散型再構築防御の正式理論への足がかりです。
このような理論は、合計を超えて私たちの対策を一般化し、エントロピーの観点から機密性を定義し、（トポロジーを意識した）差分プライバシーの影響を説明します。

要約(オリジナル)

Decentralised learning has recently gained traction as an alternative to federated learning in which both data and coordination are distributed over its users. To preserve the confidentiality of users’ data, decentralised learning relies on differential privacy, multi-party computation, or a combination thereof. However, running multiple privacy-preserving summations in sequence may allow adversaries to perform reconstruction attacks. Unfortunately, current reconstruction countermeasures either cannot trivially be adapted to the distributed setting, or add excessive amounts of noise. In this work, we first show that passive honest-but-curious adversaries can reconstruct other users’ private data after several privacy-preserving summations. For example, in subgraphs with 18 users, we show that only three passive honest-but-curious adversaries succeed at reconstructing private data 11.0% of the time, requiring an average of 8.8 summations per adversary. The success rate is independent of the size of the full network. We consider weak adversaries, who do not control the graph topology and can exploit neither the workings of the summation protocol nor the specifics of users’ data. We develop a mathematical understanding of how reconstruction relates to topology and propose the first topology-based decentralised defence against reconstruction attacks. Specifically, we show that reconstruction requires a number of adversaries linear in the length of the network’s shortest cycle. Consequently, reconstructing private data from privacy-preserving summations is impossible in acyclic networks. Our work is a stepping stone for a formal theory of decentralised reconstruction defences based on topology. Such a theory would generalise our countermeasure beyond summation, define confidentiality in terms of entropy, and describe the effects of (topology-aware) differential privacy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google