Do Parameters Reveal More than Loss for Membership Inference?

要約

メンバーシップ推論攻撃は、開示監査の重要なツールとして使用されます。
彼らは、個々のレコードがモデルのトレーニングに使用されたかどうかを推測することを目的としています。
このような評価はリスクを実証するのに役立ちますが、計算コストが高く、潜在的な敵対者のモデルやトレーニング環境へのアクセスについて強い仮定を立てることが多いため、潜在的な攻撃による漏洩に対して厳しい制限を提供しません。
最適なメンバーシップ推論にはブラック ボックス アクセスが十分であるという従来の主張が確率的勾配降下法には当てはまらないこと、そして最適なメンバーシップ推論には実際にホワイト ボックス アクセスが必要であることを示します。
私たちの理論的結果は、逆ヘシアン ベクトル積の計算を利用してモデル パラメーターを明示的に使用する新しいホワイト ボックス推論攻撃、IHA (逆ヘシアン攻撃) につながります。
私たちの結果は、監査者と敵対者の両方がモデルパラメータへのアクセスから利益を得ることができる可能性があることを示しており、メンバーシップ推論のためのホワイトボックス手法のさらなる研究を提唱します。

要約(オリジナル)

Membership inference attacks are used as a key tool for disclosure auditing. They aim to infer whether an individual record was used to train a model. While such evaluations are useful to demonstrate risk, they are computationally expensive and often make strong assumptions about potential adversaries’ access to models and training environments, and thus do not provide tight bounds on leakage from potential attacks. We show how prior claims around black-box access being sufficient for optimal membership inference do not hold for stochastic gradient descent, and that optimal membership inference indeed requires white-box access. Our theoretical results lead to a new white-box inference attack, IHA (Inverse Hessian Attack), that explicitly uses model parameters by taking advantage of computing inverse-Hessian vector products. Our results show that both auditors and adversaries may be able to benefit from access to model parameters, and we advocate for further research into white-box methods for membership inference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google