The Last Iterate Advantage: Empirical Auditing and Principled Heuristic Analysis of Differentially Private SGD

要約

我々は、最後の反復のみが解放され、中間の反復が非表示のままである設定における、ノイズを含むクリップされた確率的勾配降下法 (DP-SGD) の単純なヒューリスティック プライバシー分析を提案します。
つまり、私たちのヒューリスティックはモデルの線形構造を前提としています。
私たちは、ヒューリスティックがさまざまなトレーニング手順に適用されたプライバシー監査の結果を予測できることを実験的に示しています。
したがって、トレーニングの前に、最終的なプライバシー漏洩の大まかな推定値として使用できます。
また、プライバシー漏洩を過小評価するいくつかの人為的な反例を提供することで、ヒューリスティックの限界を調査します。
DP-SGD の標準的な構成ベースのプライバシー分析では、攻撃者がすべての中間反復にアクセスできることを事実上想定していますが、これは多くの場合非現実的です。
ただし、この分析は実際には依然として最先端です。
私たちのヒューリスティックは厳密なプライバシー分析に代わるものではありませんが、最良の理論上の上限とプライバシー監査の下限との間に大きなギャップがあることを示し、理論上のプライバシー分析を改善するためのさらなる作業の目標を設定します。
また、私たちは経験的にヒューリスティックをサポートしており、既存のプライバシー監査攻撃が視覚と言語の両方のタスクにおけるヒューリスティック分析によって制限されていることを示しています。

要約(オリジナル)

We propose a simple heuristic privacy analysis of noisy clipped stochastic gradient descent (DP-SGD) in the setting where only the last iterate is released and the intermediate iterates remain hidden. Namely, our heuristic assumes a linear structure for the model. We show experimentally that our heuristic is predictive of the outcome of privacy auditing applied to various training procedures. Thus it can be used prior to training as a rough estimate of the final privacy leakage. We also probe the limitations of our heuristic by providing some artificial counterexamples where it underestimates the privacy leakage. The standard composition-based privacy analysis of DP-SGD effectively assumes that the adversary has access to all intermediate iterates, which is often unrealistic. However, this analysis remains the state of the art in practice. While our heuristic does not replace a rigorous privacy analysis, it illustrates the large gap between the best theoretical upper bounds and the privacy auditing lower bounds and sets a target for further work to improve the theoretical privacy analyses. We also empirically support our heuristic and show existing privacy auditing attacks are bounded by our heuristic analysis in both vision and language tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google