Differentially Private Decentralized Learning with Random Walks

要約

フェデレーテッド ラーニングの人気は、スケーラビリティが向上する可能性と、参加者がデータの制御を維持できるため、データのセキュリティと主権が向上します。
残念ながら、モデルの更新を共有すると、新たなプライバシー攻撃対象領域も生まれます。
この研究では、通信グラフのエッジに沿ってあるノードから別のノードに移動することによってモデルが更新される、ランダム ウォーク アルゴリズムを使用した分散学習のプライバシー保証を特徴付けます。
分散アルゴリズムの研究に合わせて調整された差分プライバシーの最近の変種であるペアワイズネットワーク差分プライバシーを使用して、通信トポロジーの影響がグラフ理論量によって捕捉されるノードの各ペア間のプライバシー損失の閉形式式を導出します。
私たちの結果はさらに、ランダム ウォーク アルゴリズムが、互いに近いノードに対してゴシップ アルゴリズムよりも優れたプライバシー保証をもたらす傾向があることを明らかにしました。
合成および現実世界のグラフとデータセットに対する経験的評価によって理論的結果を補足します。

要約(オリジナル)

The popularity of federated learning comes from the possibility of better scalability and the ability for participants to keep control of their data, improving data security and sovereignty. Unfortunately, sharing model updates also creates a new privacy attack surface. In this work, we characterize the privacy guarantees of decentralized learning with random walk algorithms, where a model is updated by traveling from one node to another along the edges of a communication graph. Using a recent variant of differential privacy tailored to the study of decentralized algorithms, namely Pairwise Network Differential Privacy, we derive closed-form expressions for the privacy loss between each pair of nodes where the impact of the communication topology is captured by graph theoretic quantities. Our results further reveal that random walk algorithms tends to yield better privacy guarantees than gossip algorithms for nodes close from each other. We supplement our theoretical results with empirical evaluation on synthetic and real-world graphs and datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google