Pandora’s White-Box: Precise Training Data Detection and Extraction in Large Language Models

要約

この論文では、大規模言語モデル (LLM) に対する最先端のプライバシー攻撃を開発します。LLM では、モデルにアクセスできる攻撃者が、基礎となるトレーニング データについて何かを学習しようとします。
私たちの主要な結果は、ベースライン攻撃よりも数百倍優れたパフォーマンスを発揮する事前トレーニング済み LLM に対する新しいメンバーシップ推論攻撃 (MIA) と、微調整された LLM から微調整されたデータセットの 50% 以上 (!) を抽出できることを示すパイプラインです。
自然な環境で。
基礎となるモデル、事前トレーニングと微調整データ、MIA とトレーニング データ抽出の両方へのさまざまな程度のアクセスを考慮します。
事前トレーニング データについては、2 つの新しい MIA を提案します。1 つは (次元削減された) モデル勾配に基づいてトレーニング データのメンバーシップを予測する教師ありニューラル ネットワーク分類器、もう 1 つは、
LLM に関する最近のモデル盗用作業。
私たちの知る限り、これはモデル盗用情報を明示的に組み込んだ最初の MIA です。
どちらの攻撃も既存のブラック ボックス ベースラインを上回っており、私たちの教師あり攻撃は、LLM に対する MIA 攻撃の成功と、他の機械学習モデルに対する既知の最強の攻撃との間のギャップを埋めます。
微調整では、ベース モデルと微調整モデル間の損失の比率に基づく単純な攻撃で、ほぼ完璧な MIA パフォーマンスを達成できることがわかりました。
次に、MIA を活用して、微調整された Pythia モデルと Llama モデルから微調整データセットの大部分を抽出します。
私たちのコードは github.com/safr-ai-lab/pandora-llm で入手できます。

要約(オリジナル)

In this paper we develop state-of-the-art privacy attacks against Large Language Models (LLMs), where an adversary with some access to the model tries to learn something about the underlying training data. Our headline results are new membership inference attacks (MIAs) against pretrained LLMs that perform hundreds of times better than baseline attacks, and a pipeline showing that over 50% (!) of the fine-tuning dataset can be extracted from a fine-tuned LLM in natural settings. We consider varying degrees of access to the underlying model, pretraining and fine-tuning data, and both MIAs and training data extraction. For pretraining data, we propose two new MIAs: a supervised neural network classifier that predicts training data membership on the basis of (dimensionality-reduced) model gradients, as well as a variant of this attack that only requires logit access to the model by leveraging recent model-stealing work on LLMs. To our knowledge this is the first MIA that explicitly incorporates model-stealing information. Both attacks outperform existing black-box baselines, and our supervised attack closes the gap between MIA attack success against LLMs and the strongest known attacks for other machine learning models. In fine-tuning, we find that a simple attack based on the ratio of the loss between the base and fine-tuned models is able to achieve near-perfect MIA performance; we then leverage our MIA to extract a large fraction of the fine-tuning dataset from fine-tuned Pythia and Llama models. Our code is available at github.com/safr-ai-lab/pandora-llm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google