The Canary’s Echo: Auditing Privacy Risks of LLM-Generated Synthetic Text

要約

トレーニングサンプルに関する情報は、大規模な言語モデル（LLMS）によって生成された合成データを通じて漏洩する可能性がありますか？
合成データ生成パイプラインにおける情報の流れの微妙さを見下ろすと、プライバシーの誤った感覚が生じる可能性があります。
この論文では、敵がLLMによって生成されたいくつかの合成データにアクセスできると仮定します。
LLMを微調整するために使用されるトレーニングデータをターゲットにするメンバーシップ推論攻撃（MIA）を設計し、データの合成に使用します。
私たちのMIAの大幅なパフォーマンスは、合成データがトレーニングデータに関する情報を漏らしていることを示しています。
さらに、合成データのみがリリースされている場合、モデルベースのMIAのために作成されたカナリアは、プライバシー監査に最適ではないことがわかります。
このような分散カナリアは、有用で分配する合成データを生成するように促された場合、モデルの出力に限られた影響を及ぼし、それらの有効性を大幅に低下させます。
この問題に取り組むために、自動回帰モデルのメカニズムを活用して、分散内のプレフィックスと合成データの検出可能なトレースを残す高プレイティの接尾辞でカナリアを設計します。
これにより、データベースのMIAの力が向上し、LLMSによって生成された合成データをリリースするプライバシーリスクのより良い評価を提供します。

要約(オリジナル)

How much information about training samples can be leaked through synthetic data generated by Large Language Models (LLMs)? Overlooking the subtleties of information flow in synthetic data generation pipelines can lead to a false sense of privacy. In this paper, we assume an adversary has access to some synthetic data generated by a LLM. We design membership inference attacks (MIAs) that target the training data used to fine-tune the LLM that is then used to synthesize data. The significant performance of our MIA shows that synthetic data leak information about the training data. Further, we find that canaries crafted for model-based MIAs are sub-optimal for privacy auditing when only synthetic data is released. Such out-of-distribution canaries have limited influence on the model’s output when prompted to generate useful, in-distribution synthetic data, which drastically reduces their effectiveness. To tackle this problem, we leverage the mechanics of auto-regressive models to design canaries with an in-distribution prefix and a high-perplexity suffix that leave detectable traces in synthetic data. This enhances the power of data-based MIAs and provides a better assessment of the privacy risks of releasing synthetic data generated by LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google