The Last Iterate Advantage: Empirical Auditing and Principled Heuristic Analysis of Differentially Private SGD

要約

最後の反復のみが放出され、中間繰り返しが隠されたままである設定で、騒々しいクリップ確率勾配降下（DP-SGD）の単純なヒューリスティックプライバシー分析を提案します。
つまり、私たちのヒューリスティックは、モデルの線形構造を想定しています。
私たちのヒューリスティックは、さまざまなトレーニング手順に適用されるプライバシー監査の結果を予測していることを実験的に示します。
したがって、最終的なプライバシー漏れの大まかな見積もりとして、トレーニング前に使用できます。
また、プライバシーの漏れを過小評価するいくつかの人工的な反論を提供することにより、ヒューリスティックの制限を調査します。
DP-SGDの標準的な構成ベースのプライバシー分析は、敵がすべての中間反復液にアクセスできることを効果的に想定していますが、これはしばしば非現実的です。
ただし、この分析は実際に最先端の依然として存在しています。
私たちのヒューリスティックは厳密なプライバシー分析に取って代わるものではありませんが、最良の理論上の上限とプライバシー監査下限の間の大きなギャップを示し、理論的プライバシー分析を改善するためのさらなる作業の目標を設定します。
また、私たちのヒューリスティックを経験的にサポートし、既存のプライバシー監査攻撃がビジョンと言語の両方のタスクにおけるヒューリスティック分析によって制限されていることを示しています。

要約(オリジナル)

We propose a simple heuristic privacy analysis of noisy clipped stochastic gradient descent (DP-SGD) in the setting where only the last iterate is released and the intermediate iterates remain hidden. Namely, our heuristic assumes a linear structure for the model. We show experimentally that our heuristic is predictive of the outcome of privacy auditing applied to various training procedures. Thus it can be used prior to training as a rough estimate of the final privacy leakage. We also probe the limitations of our heuristic by providing some artificial counterexamples where it underestimates the privacy leakage. The standard composition-based privacy analysis of DP-SGD effectively assumes that the adversary has access to all intermediate iterates, which is often unrealistic. However, this analysis remains the state of the art in practice. While our heuristic does not replace a rigorous privacy analysis, it illustrates the large gap between the best theoretical upper bounds and the privacy auditing lower bounds and sets a target for further work to improve the theoretical privacy analyses. We also empirically support our heuristic and show existing privacy auditing attacks are bounded by our heuristic analysis in both vision and language tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google