A Cautionary Tale: On the Role of Reference Data in Empirical Privacy Defenses

要約

プライバシー保護機械学習の領域内では、モデルの有用性を大幅に低下させることなく、トレーニング データのプライバシーを満足のいくレベルに達成するためのソリューションとして、経験に基づくプライバシー防御が提案されています。
メンバーシップ推論攻撃に対する既存の防御策のほとんどは、トレーニング データと同じ (または類似した) 基礎となる分布に由来する追加のデータセットとして定義される参照データへのアクセスを前提としています。
参照データの一般的な使用にもかかわらず、これまでの研究では、参照データのプライバシーの定義と評価について特に消極的でした。
モデルの有用性やトレーニング データのプライバシーが向上すると、参照データのプライバシーが犠牲になる可能性があるため、3 つの側面すべてを適切に考慮することが重要です。
この論文では、まず、以前の研究における参照データとそのプライバシーの扱いの利用可能性を検討し、防御を公正に比較するためのその必要性を実証します。
次に、トレーニング データと参照データの両方に関するユーティリティとプライバシーのトレードオフを容易に理解できるようにするベースライン防御を提案します。
私たちの方法は、汎化誤差に制約を設けた経験的リスク最小化として定式化されており、実際には、トレーニング データセットと参照データセットに対する加重経験的リスク最小化 (WERM) として評価できます。
私たちは WERM を単純なベースラインとして考えましたが、実験では、驚くべきことに、参照データとトレーニング データのほぼすべての相対的なプライバシー レベルの参照データを使用した、最もよく研​​究され、現在最先端の実証的なプライバシー防御を上回るパフォーマンスを示しています。
。
私たちの調査では、これらの既存の方法では、モデル ユーティリティやトレーニング データのプライバシーと参照データのプライバシーを効果的にトレードオフできないことも明らかになりました。
全体として、私たちの研究は、プライバシー防御を比較する際に、トライアド モデルのユーティリティ/トレーニング データのプライバシー/参照データのプライバシーを適切に評価する必要性を強調しています。

要約(オリジナル)

Within the realm of privacy-preserving machine learning, empirical privacy defenses have been proposed as a solution to achieve satisfactory levels of training data privacy without a significant drop in model utility. Most existing defenses against membership inference attacks assume access to reference data, defined as an additional dataset coming from the same (or a similar) underlying distribution as training data. Despite the common use of reference data, previous works are notably reticent about defining and evaluating reference data privacy. As gains in model utility and/or training data privacy may come at the expense of reference data privacy, it is essential that all three aspects are duly considered. In this paper, we first examine the availability of reference data and its privacy treatment in previous works and demonstrate its necessity for fairly comparing defenses. Second, we propose a baseline defense that enables the utility-privacy tradeoff with respect to both training and reference data to be easily understood. Our method is formulated as an empirical risk minimization with a constraint on the generalization error, which, in practice, can be evaluated as a weighted empirical risk minimization (WERM) over the training and reference datasets. Although we conceived of WERM as a simple baseline, our experiments show that, surprisingly, it outperforms the most well-studied and current state-of-the-art empirical privacy defenses using reference data for nearly all relative privacy levels of reference and training data. Our investigation also reveals that these existing methods are unable to effectively trade off reference data privacy for model utility and/or training data privacy. Overall, our work highlights the need for a proper evaluation of the triad model utility / training data privacy / reference data privacy when comparing privacy defenses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google