Differential Privacy Analysis of Decentralized Gossip Averaging under Varying Threat Models

要約

機械学習モデルの完全に分散したトレーニングは、スケーラビリティ、堅牢性、断層のトレランスに大きな利点を提供します。
ただし、このような設定でプライバシーの差（DP）を達成することは、中央のアグリゲーターがないこととノード間の信頼の仮定が異なるため、困難です。
この作業では、各ノードの直接隣人に安全な合計の有無にかかわらず、加法ノードレベルのノイズを備えた分散型ゴシップベースの平均アルゴリズムの新しいプライバシー分析を提示します。
私たちの主な貢献は、これらのシナリオ全体のプライバシーの漏れを正確に特徴付ける線形システムの定式化に基づく新しい分析フレームワークです。
このフレームワークは、以前の分析で大幅に改善されます。たとえば、r \ ‘enyi dpパラメーターの成長は$ o（t^2）$から$ o（t）$に減少します。ここで、$ t $はトレーニングラウンドの数です。
既存のアプローチと比較して優れたDP境界を示す数値結果で分析を検証します。
さらに、完全に分散化された設定でのMNIST画像分類に関するロジスティック回帰実験で分析を説明し、中心集計方法に匹敵するユーティリティを実証します。

要約(オリジナル)

Fully decentralized training of machine learning models offers significant advantages in scalability, robustness, and fault tolerance. However, achieving differential privacy (DP) in such settings is challenging due to the absence of a central aggregator and varying trust assumptions among nodes. In this work, we present a novel privacy analysis of decentralized gossip-based averaging algorithms with additive node-level noise, both with and without secure summation over each node’s direct neighbors. Our main contribution is a new analytical framework based on a linear systems formulation that accurately characterizes privacy leakage across these scenarios. This framework significantly improves upon prior analyses, for example, reducing the R\’enyi DP parameter growth from $O(T^2)$ to $O(T)$, where $T$ is the number of training rounds. We validate our analysis with numerical results demonstrating superior DP bounds compared to existing approaches. We further illustrate our analysis with a logistic regression experiment on MNIST image classification in a fully decentralized setting, demonstrating utility comparable to central aggregation methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google