Beyond Noise: Privacy-Preserving Decentralized Learning with Virtual Nodes

要約

分散学習 (DL) により、サーバーを使用せず、トレーニング データがユーザーのデバイスから流出することなく、共同学習が可能になります。
ただし、DL で共有されたモデルは、トレーニング データの推論に引き続き使用できます。
差分プライバシーや安全な集約などの従来のプライバシー防御では、DL におけるユーザーのプライバシーを効果的に保護するには不十分です。
ノードが仮想ノード (VN) を作成して、ノードに代わって完全なモデルのチャンクを配布する新しい DL アプローチである Shatter を紹介します。
これにより、(i) 攻撃者が他のノードから完全なモデルを収集するのを防ぎ、(ii) 特定のモデル チャンクを生成した元のノードの ID を隠すことにより、プライバシーが強化されます。
私たちは、Shatter の収束を理論的に証明し、参加ノード間で完全なモデルを交換する場合と比較して、Shatter が攻撃の有効性をどのように低下​​させるかを示す正式な分析を提供します。
既存の DL アルゴリズム、異種データセット、および勾配反転を含む 3 つの標準的なプライバシー攻撃に対する Shatter の収束性と攻撃耐性を評価します。
私たちの評価では、Shatter は各ノードが 16 個の VN を運用している場合にこれらのプライバシー攻撃を実行不可能にするだけでなく、標準の DL と比較してモデルの収束にプラスの影響を与えることが示されています。
このプライバシーの強化により、通信量は管理可能な範囲で増加します。

要約(オリジナル)

Decentralized learning (DL) enables collaborative learning without a server and without training data leaving the users’ devices. However, the models shared in DL can still be used to infer training data. Conventional privacy defenses such as differential privacy and secure aggregation fall short in effectively safeguarding user privacy in DL. We introduce Shatter, a novel DL approach in which nodes create virtual nodes (VNs) to disseminate chunks of their full model on their behalf. This enhances privacy by (i) preventing attackers from collecting full models from other nodes, and (ii) hiding the identity of the original node that produced a given model chunk. We theoretically prove the convergence of Shatter and provide a formal analysis demonstrating how Shatter reduces the efficacy of attacks compared to when exchanging full models between participating nodes. We evaluate the convergence and attack resilience of Shatter with existing DL algorithms, with heterogeneous datasets, and against three standard privacy attacks, including gradient inversion. Our evaluation shows that Shatter not only renders these privacy attacks infeasible when each node operates 16 VNs but also exhibits a positive impact on model convergence compared to standard DL. This enhanced privacy comes with a manageable increase in communication volume.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google