Noiseless Privacy-Preserving Decentralized Learning

要約

分散学習 (DL) により、サーバーを使用せず、トレーニング データがユーザーのデバイスから流出することなく、共同学習が可能になります。
ただし、DL で共有されたモデルは、トレーニング データの推論に引き続き使用できます。
差分プライバシーや安全な集約などの従来の防御は、DL におけるユーザーのプライバシーを効果的に保護するには不十分であり、モデルの実用性または効率性が犠牲になります。
ノードが仮想ノード (VN) を作成して、ノードに代わって完全なモデルのチャンクを配布する新しい DL アプローチである Shatter を紹介します。
これにより、(i) 攻撃者が他のノードから完全なモデルを収集するのを防ぎ、(ii) 特定のモデル チャンクを生成した元のノードの ID を隠すことにより、プライバシーが強化されます。
私たちは、Shatter の収束を理論的に証明し、ノード間で完全なモデルを交換する場合と比較して、Shatter が攻撃の有効性をどのように低下​​させるかを示す正式な分析を提供します。
既存の DL アルゴリズム、異種データセット、および 3 つの標準的なプライバシー攻撃に対する Shatter の収束性と攻撃耐性を評価します。
私たちの評価では、Shatter は、各ノードが 16 個の VN を運用している場合にこれらのプライバシー攻撃を実行不可能にするだけでなく、標準の DL と比較してモデルのユーティリティにプラスの影響を示すことが示されています。
要約すると、Shatter は、モデルの実用性と効率を維持しながら、DL のプライバシーを強化します。

要約(オリジナル)

Decentralized learning (DL) enables collaborative learning without a server and without training data leaving the users’ devices. However, the models shared in DL can still be used to infer training data. Conventional defenses such as differential privacy and secure aggregation fall short in effectively safeguarding user privacy in DL, either sacrificing model utility or efficiency. We introduce Shatter, a novel DL approach in which nodes create virtual nodes (VNs) to disseminate chunks of their full model on their behalf. This enhances privacy by (i) preventing attackers from collecting full models from other nodes, and (ii) hiding the identity of the original node that produced a given model chunk. We theoretically prove the convergence of Shatter and provide a formal analysis demonstrating how Shatter reduces the efficacy of attacks compared to when exchanging full models between nodes. We evaluate the convergence and attack resilience of Shatter with existing DL algorithms, with heterogeneous datasets, and against three standard privacy attacks. Our evaluation shows that Shatter not only renders these privacy attacks infeasible when each node operates 16 VNs but also exhibits a positive impact on model utility compared to standard DL. In summary, Shatter enhances the privacy of DL while maintaining the utility and efficiency of the model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google