Whisper D-SGD: Correlated Noise Across Agents for Differentially Private Decentralized Learning

要約

分散学習により、分散エージェントはローカル計算とピアツーピア通信を通じて共有機械学習モデルをトレーニングできます。
各エージェントはデータセットをローカルに保持していますが、ローカルモデルの通信は依然として敵に個人情報を公開することができます。
これらの脅威を緩和するために、ローカル差別的プライバシー（LDP）はエージェントごとに独立したノイズを注入しますが、中央の差動プライバシー（CDP）よりも大きなユーティリティギャップがあります。
Agent全体で相関したプライバシーノイズを生成する新しい共分散ベースのアプローチであるWhisper D-SGDを紹介し、いくつかの最先端の方法を特別なケースとして統合します。
ネットワークトポロジを活用して重量を混合することにより、ささやきD-SGDはノイズ共分散を最適化して、ネットワーク全体のノイズキャンセルを実現します。
実験結果は、ささやきD-SGDが既存のペアごとの相関スキームよりも多くのノイズをキャンセルし、同じプライバシー保証の下でCDP-LDPギャップを大幅に絞り込み、モデルパフォーマンスを改善することを示しています。

要約(オリジナル)

Decentralized learning enables distributed agents to train a shared machine learning model through local computation and peer-to-peer communication. Although each agent retains its dataset locally, the communication of local models can still expose private information to adversaries. To mitigate these threats, local differential privacy (LDP) injects independent noise per agent, but it suffers a larger utility gap than central differential privacy (CDP). We introduce Whisper D-SGD, a novel covariance-based approach that generates correlated privacy noise across agents, unifying several state-of-the-art methods as special cases. By leveraging network topology and mixing weights, Whisper D-SGD optimizes the noise covariance to achieve network-wide noise cancellation. Experimental results show that Whisper D-SGD cancels more noise than existing pairwise-correlation schemes, substantially narrowing the CDP-LDP gap and improving model performance under the same privacy guarantees.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google