Privacy Ripple Effects from Adding or Removing Personal Information in Language Model Training

要約

個人を特定できる情報（PII）の繊細な性質により、その所有者は、その包含を制御するか、大規模モデル（LLM）トレーニングから削除を要求する権限を持っている可能性があります。
これを超えて、データセットのキュレーション手法が進化するため、または再訓練のために新しく削られたため、または新しい下流の微調整段階に含まれていたため、PIIはトレーニングデータセットから追加または削除される場合があります。
PII暗記の量と容易さは、トレーニングパイプライン全体で進化し、一般的に変更された設計選択に依存するモデルの動的な特性であることがわかります。
そのような3つの新しい現象を特徴づけます。（1）トレーニングで後で見られる同様に見えるPIIは、私たちが援助の記憶と呼ぶもので以前に見られるシーケンスの暗記を引き出すことができます。これは重要な要因です（設定では、最大1/3）
;
（2）PIIを追加すると、他のPIIの暗記が大幅に増加する可能性があります（設定では、$ \ ampr！7.5 \ times $）。
（3）PIIを除去すると、他のPIIが記憶される可能性があります。
モデル作成者は、新しいPII逆流のリスクを回避するためにモデルをトレーニングする際に、これらの1次および2次プライバシーのリスクを考慮する必要があります。

要約(オリジナル)

Due to the sensitive nature of personally identifiable information (PII), its owners may have the authority to control its inclusion or request its removal from large-language model (LLM) training. Beyond this, PII may be added or removed from training datasets due to evolving dataset curation techniques, because they were newly scraped for retraining, or because they were included in a new downstream fine-tuning stage. We find that the amount and ease of PII memorization is a dynamic property of a model that evolves throughout training pipelines and depends on commonly altered design choices. We characterize three such novel phenomena: (1) similar-appearing PII seen later in training can elicit memorization of earlier-seen sequences in what we call assisted memorization, and this is a significant factor (in our settings, up to 1/3); (2) adding PII can increase memorization of other PII significantly (in our settings, as much as $\approx\!7.5\times$); and (3) removing PII can lead to other PII being memorized. Model creators should consider these first- and second-order privacy risks when training models to avoid the risk of new PII regurgitation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google