DEPN: Detecting and Editing Privacy Neurons in Pretrained Language Models

要約

膨大な量のデータで事前トレーニングされた大規模な言語モデルは、トレーニング データ内の豊富な知識と情報をキャプチャします。
以前の研究で明らかになった、事前学習済み言語モデルにおけるデータの記憶と逆流の能力は、データ漏洩のリスクをもたらします。
これらのリスクを効果的に軽減するために、知識ニューロンとモデル編集から部分的にインスピレーションを受け、事前トレーニングされた言語モデルでプライバシー ニューロンを検出および編集するフレームワーク DEPN を提案します。
DEPN では、プライバシー ニューロン検出器と呼ばれる新しい方法を導入し、個人情報に関連するニューロンを特定し、検出されたプライバシー ニューロンの活性化をゼロに設定して編集します。
さらに、バッチ処理方式で個人情報を非記憶化するプライバシーニューロンアグリゲータを提案します。
実験結果は、私たちの方法がモデルのパフォーマンスを低下させることなく、プライベートデータの漏洩の危険を大幅かつ効率的に削減できることを示しています。
さらに、モデルのサイズ、トレーニング時間、プロンプト、プライバシー ニューロンの分布などの複数の観点から、モデルの記憶とプライバシー ニューロンの関係を実証し、アプローチの堅牢性を示しています。

要約(オリジナル)

Large language models pretrained on a huge amount of data capture rich knowledge and information in the training data. The ability of data memorization and regurgitation in pretrained language models, revealed in previous studies, brings the risk of data leakage. In order to effectively reduce these risks, we propose a framework DEPN to Detect and Edit Privacy Neurons in pretrained language models, partially inspired by knowledge neurons and model editing. In DEPN, we introduce a novel method, termed as privacy neuron detector, to locate neurons associated with private information, and then edit these detected privacy neurons by setting their activations to zero. Furthermore, we propose a privacy neuron aggregator dememorize private information in a batch processing manner. Experimental results show that our method can significantly and efficiently reduce the exposure of private data leakage without deteriorating the performance of the model. Additionally, we empirically demonstrate the relationship between model memorization and privacy neurons, from multiple perspectives, including model size, training time, prompts, privacy neuron distribution, illustrating the robustness of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google