Emergent and Predictable Memorization in Large Language Models

要約

タイトル：大規模言語モデルにおける自発的かつ予測可能な記憶形成

要約：

– 大規模言語モデル (LLM) がトレーニングデータをそのまま出力する記憶形成（メモリーゼーション）は、言語モデルを安全に展開する上で重要な問題である。
– 特に、個人識別情報（PII）を含むような敏感なデータポイントのモデルへのメモリーゼーションを最小限に抑えることが重要である。
– モデルトレーナーにとってこのような望ましくないメモリーゼションの存在は問題を引き起こし、時には機能的なモデルを破棄する必要がある可能性もある。
– したがって、人工知能モデルのフルトレーニング前に下位コンピューターでのトライアルを通じてメモリーゼーション動作を推測することが求められている。
– Pythia モデルスイートの記憶形成を測定し、中間チェックポイントが完全にトレーニングされたモデルよりもモデルのメモリーゼーション動作をよりよく予測することができることを発見した。
– さらに、モデルとデータのメモリーゼーションスコアの分布に関する新しい発見を提供している。

要約(オリジナル)

Memorization, or the tendency of large language models (LLMs) to output entire sequences from their training data verbatim, is a key concern for safely deploying language models. In particular, it is vital to minimize a model’s memorization of sensitive datapoints such as those containing personal identifiable information (PII). The prevalence of such undesirable memorization can pose issues for model trainers, and may even require discarding an otherwise functional model. We therefore seek to predict which sequences will be memorized before a large model’s full train-time by extrapolating the memorization behavior of lower-compute trial runs. We measure memorization of the Pythia model suite, and find that intermediate checkpoints are better predictors of a model’s memorization behavior than smaller fully-trained models. We additionally provide further novel discoveries on the distribution of memorization scores across models and data.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI