The Relative Gaussian Mechanism and its Application to Private Gradient Descent

要約

ガウス メカニズム (GM) は、ベクトル値クエリを解放する前にガウス ノイズをベクトル値クエリに追加することで構成され、標準的なプライバシー保護メカニズムです。
特に、クエリが何らかの L2 感度特性 (任意の 2 つの隣接する入力の出力間の L2 距離が制限されている) を考慮すると、GM は差分プライバシー (RDP) を保証します。
残念ながら、L2 感度を正確に制限することは難しい場合があり、そのためプライバシーの制限が緩くなります。
この作業では、2 つのクエリ出力間の距離の境界もそれらのノルムに依存する可能性がある、相対 L2 感度の仮定を考慮します。
この仮定を利用して、ノイズの分散が出力のノルムに依存する相対ガウス メカニズム (RGM) を導入します。
相対的な L2 感度の下で RDP パラメータの厳しい限界を証明し、出力依存ノイズの使用によって生じるプライバシー損失の特徴を示します。
特に、RGM が出力のノルムを制御する潜在変数に自然に適応することを示します。
最後に、フレームワークをインスタンス化して、プライベート勾配降下法に対する厳密な保証を示します。この問題は、相対的な L2 感度の仮定に自然に適合します。

要約(オリジナル)

The Gaussian Mechanism (GM), which consists in adding Gaussian noise to a vector-valued query before releasing it, is a standard privacy protection mechanism. In particular, given that the query respects some L2 sensitivity property (the L2 distance between outputs on any two neighboring inputs is bounded), GM guarantees R\’enyi Differential Privacy (RDP). Unfortunately, precisely bounding the L2 sensitivity can be hard, thus leading to loose privacy bounds. In this work, we consider a Relative L2 sensitivity assumption, in which the bound on the distance between two query outputs may also depend on their norm. Leveraging this assumption, we introduce the Relative Gaussian Mechanism (RGM), in which the variance of the noise depends on the norm of the output. We prove tight bounds on the RDP parameters under relative L2 sensitivity, and characterize the privacy loss incurred by using output-dependent noise. In particular, we show that RGM naturally adapts to a latent variable that would control the norm of the output. Finally, we instantiate our framework to show tight guarantees for Private Gradient Descent, a problem that naturally fits our relative L2 sensitivity assumption.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google