Preventing Verbatim Memorization in Language Models Gives a False Sense of Privacy

要約

ニューラル言語モデルのデータ記憶を研究することは、トレーニング データを逆流させるモデルに関連するリスク (プライバシーや著作権など) を理解するのに役立ち、対策の開発に役立ちます。
これまでの多くの研究、および最近導入された防御策のいくつかは、トレーニング セットの部分文字列と正確に一致するモデル生成として定義される「逐語的記憶」に焦点を当てています。
私たちは、逐語的な暗記の定義は限定的すぎて、より微妙な形式の暗記を捉えることができないと主張します。
具体的には、すべての逐語的な暗記を完全に防ぐ効果的な防御を設計および実装します。
それでもなお、この「完璧な」フィルターではトレーニング データの漏洩を防ぐことはできないことを示しています。
実際、もっともらしく、最小限に変更された「スタイル転送」プロンプト、場合によっては、変更されていない元のプロンプトさえも、記憶された情報を抽出することによって簡単に回避されます。
最後に、潜在的な代替定義と、なぜ記憶の定義がニューラル言語モデルにとって難しくも重要な未解決の問題であるのかについて議論します。

要約(オリジナル)

Studying data memorization in neural language models helps us understand the risks (e.g., to privacy or copyright) associated with models regurgitating training data and aids in the development of countermeasures. Many prior works — and some recently deployed defenses — focus on ‘verbatim memorization’, defined as a model generation that exactly matches a substring from the training set. We argue that verbatim memorization definitions are too restrictive and fail to capture more subtle forms of memorization. Specifically, we design and implement an efficient defense that perfectly prevents all verbatim memorization. And yet, we demonstrate that this ‘perfect’ filter does not prevent the leakage of training data. Indeed, it is easily circumvented by plausible and minimally modified ‘style-transfer’ prompts — and in some cases even the non-modified original prompts — to extract memorized information. We conclude by discussing potential alternative definitions and why defining memorization is a difficult yet crucial open question for neural language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google