Gaussian Membership Inference Privacy

要約

我々は、$f$-Membership Inference Privacy ($f$-MIP) と呼ばれる斬新で実用的なプライバシー概念を提案します。これは、メンバーシップ推論攻撃脅威モデルの下で現実的な敵対者の能力を明示的に考慮します。
その結果、$f$-MIP は、解釈可能なプライバシー保証と向上した実用性 (例: 分類精度の向上) を提供します。
特に、確率的勾配に対する尤度比ベースのメンバーシップ推論攻撃を理論的に分析することにより、$\mu$-Gaussian Membership Inference Privacy ($\mu$-GMIP) と呼ばれる $f$-MIP 保証のパラメトリック ファミリを導出します。
降下 (シンガポールドル)。
私たちの分析では、標準 SGD でトレーニングされたモデルがすでに初級レベルの MIP を提供していることがわかりました。
さらに、勾配更新にノイズを追加することで $f$-MIP を増幅する方法を示します。
さらに、私たちの分析により、以前のアプローチに比べて 2 つの明確な利点を提供する分析メンバーシップ推論攻撃が得られます。
まず、何百ものシャドウ モデルのトレーニングを必要とする既存の最先端の攻撃とは異なり、私たちの攻撃はシャドウ モデルを必要としません。
第二に、私たちの分析攻撃により、私たちのプライバシー概念 $f$-MIP の簡単な監査が可能になります。
最後に、さまざまなハイパーパラメータ (バッチ サイズ、モデル パラメータの数など) と特定のデータ特性が、トレーニング セット内のポイントのメンバーシップを正確に推測する攻撃者の能力をどのように決定するかを定量化します。
ビジョンと表形式のデータセットでトレーニングされたモデルに対するこの方法の有効性を実証します。

要約(オリジナル)

We propose a novel and practical privacy notion called $f$-Membership Inference Privacy ($f$-MIP), which explicitly considers the capabilities of realistic adversaries under the membership inference attack threat model. Consequently, $f$-MIP offers interpretable privacy guarantees and improved utility (e.g., better classification accuracy). In particular, we derive a parametric family of $f$-MIP guarantees that we refer to as $\mu$-Gaussian Membership Inference Privacy ($\mu$-GMIP) by theoretically analyzing likelihood ratio-based membership inference attacks on stochastic gradient descent (SGD). Our analysis highlights that models trained with standard SGD already offer an elementary level of MIP. Additionally, we show how $f$-MIP can be amplified by adding noise to gradient updates. Our analysis further yields an analytical membership inference attack that offers two distinct advantages over previous approaches. First, unlike existing state-of-the-art attacks that require training hundreds of shadow models, our attack does not require any shadow model. Second, our analytical attack enables straightforward auditing of our privacy notion $f$-MIP. Finally, we quantify how various hyperparameters (e.g., batch size, number of model parameters) and specific data characteristics determine an attacker’s ability to accurately infer a point’s membership in the training set. We demonstrate the effectiveness of our method on models trained on vision and tabular datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google