Avoiding Pitfalls for Privacy Accounting of Subsampled Mechanisms under Composition

要約

サブサンプリングされた差別的なプライベートメカニズムの構成のためのプライバシー保証を緊密に計算する問題を検討します。
最近のアルゴリズムは、プライバシーパラメーターを任意の精度に数値的に計算できますが、慎重に適用する必要があります。
私たちの主な貢献は、混乱の2つの一般的なポイントに対処することです。
第一に、一部のプライバシー会計士は、サブサンプリングされたメカニズムの構成のプライバシー保証が、非対応メカニズムのために最悪のデータセットを自己構成することによって決定されると想定しています。
これは一般的に真実ではないことを示します。
第二に、ポアソンサブサンプリングは、交換なしのサンプリングと比較して、同様のプライバシー保証があると想定されることがあります。
プライバシー保証は、実際には2つのサンプリングスキーム間で大きく異なる場合があることを示します。
特に、ポアソンサブサンプリングの場合は$ \ varepsilon \約1 $、$ \ varepsilon> 10 $を交換せずにサンプリングしても、ハイパーパラメーターの例を挙げます。
これは、DP-SGDに対して現実的に選択できるいくつかのパラメーターで発生します。

要約(オリジナル)

We consider the problem of computing tight privacy guarantees for the composition of subsampled differentially private mechanisms. Recent algorithms can numerically compute the privacy parameters to arbitrary precision but must be carefully applied. Our main contribution is to address two common points of confusion. First, some privacy accountants assume that the privacy guarantees for the composition of a subsampled mechanism are determined by self-composing the worst-case datasets for the uncomposed mechanism. We show that this is not true in general. Second, Poisson subsampling is sometimes assumed to have similar privacy guarantees compared to sampling without replacement. We show that the privacy guarantees may in fact differ significantly between the two sampling schemes. In particular, we give an example of hyperparameters that result in $\varepsilon \approx 1$ for Poisson subsampling and $\varepsilon > 10$ for sampling without replacement. This occurs for some parameters that could realistically be chosen for DP-SGD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google