Membership Inference Attacks against Language Models via Neighbourhood Comparison

要約

Membership Inference 攻撃 (MIA) は、機械学習モデルのトレーニング データにデータ サンプルが存在するかどうかを予測することを目的としており、言語モデルのプライバシー リスクを評価するために広く使用されています。
既存の攻撃のほとんどは、モデルが非トレーニング ポイントよりもトレーニング サンプルに高い確率を割り当てる傾向があるという観察に基づいています。
ただし、モデル スコアを単独で単純にしきい値処理すると、サンプルの本質的な複雑さが考慮されていないため、偽陽性率が高くなる傾向があります。
最近の研究では、モデルのスコアを同様のデータでトレーニングされた参照モデルから得られたスコアと比較する参照ベースの攻撃により、MIA のパフォーマンスを大幅に向上できることが実証されました。
ただし、参照モデルをトレーニングするために、この種の攻撃では、攻撃者が元のトレーニング データによく似たサンプルにアクセスできるという強力でおそらく非現実的な仮定が立てられます。
したがって、より現実的なシナリオでそれらのパフォーマンスを調査したところ、参照モデルのトレーニングに使用されるデータ分布に関して非常に脆弱であることがわかりました。
この脆弱性が安全層を提供するかどうかを調査するために、近傍攻撃を提案および評価します。これは、特定のサンプルのモデル スコアを合成的に生成された近傍テキストのスコアと比較するため、トレーニング データ分布へのアクセスの必要性を排除します。
トレーニング データの分布に関する完全な知識を持つ参照ベースの攻撃と競合することに加えて、私たちの攻撃は、既存の参照フリー攻撃や不完全な知識を持つ参照ベースの攻撃よりも明らかに優れていることを示します。
敵対的攻撃の脅威モデルの再評価。

要約(オリジナル)

Membership Inference attacks (MIAs) aim to predict whether a data sample was present in the training data of a machine learning model or not, and are widely used for assessing the privacy risks of language models. Most existing attacks rely on the observation that models tend to assign higher probabilities to their training samples than non-training points. However, simple thresholding of the model score in isolation tends to lead to high false-positive rates as it does not account for the intrinsic complexity of a sample. Recent work has demonstrated that reference-based attacks which compare model scores to those obtained from a reference model trained on similar data can substantially improve the performance of MIAs. However, in order to train reference models, attacks of this kind make the strong and arguably unrealistic assumption that an adversary has access to samples closely resembling the original training data. Therefore, we investigate their performance in more realistic scenarios and find that they are highly fragile in relation to the data distribution used to train reference models. To investigate whether this fragility provides a layer of safety, we propose and evaluate neighbourhood attacks, which compare model scores for a given sample to scores of synthetically generated neighbour texts and therefore eliminate the need for access to the training data distribution. We show that, in addition to being competitive with reference-based attacks that have perfect knowledge about the training data distribution, our attack clearly outperforms existing reference-free attacks as well as reference-based attacks with imperfect knowledge, which demonstrates the need for a reevaluation of the threat model of adversarial attacks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google