Quantifying Memorization Across Neural Language Models

要約

大規模な言語モデル（LM）は、学習データの一部を記憶し、適切なプロンプトが出されると、記憶した学習データをそのまま出力することが示されている。これは、プライバシー侵害（ユーザーデータの公開）、実用性の低下（暗記しやすいテキストを繰り返すと低品質になる）、公平性の低下（あるテキストが他のテキストより暗記される）のため、好ましくない。 LMが学習データを記憶する度合いを定量化するために、3つの対数線形関係を記述する。(1)モデルの容量、(2)例の複製回数、(3)モデルを促すために使われる文脈のトークン数を増やすと、暗記量は著しく増加する。意外なことに、この結果をモデルファミリー間で一般化すると、状況はより複雑になることがわかった。全体として、LMの暗記はこれまで考えられていたよりも一般的であり、少なくとも積極的な緩和策を講じない限り、モデルの規模が拡大するにつれて悪化する可能性が高いことがわかった。

要約(オリジナル)

Large language models (LMs) have been shown to memorize parts of their training data, and when prompted appropriately, they will emit the memorized training data verbatim. This is undesirable because memorization violates privacy (exposing user data), degrades utility (repeated easy-to-memorize text is often low quality), and hurts fairness (some texts are memorized over others). We describe three log-linear relationships that quantify the degree to which LMs emit memorized training data. Memorization significantly grows as we increase (1) the capacity of a model, (2) the number of times an example has been duplicated, and (3) the number of tokens of context used to prompt the model. Surprisingly, we find the situation becomes more complicated when generalizing these results across model families. On the whole, we find that memorization in LMs is more prevalent than previously believed and will likely get worse as models continues to scale, at least without active mitigations.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL