Exploring Memorization in Fine-tuned Language Models

要約

LLM はさまざまなタスクで優れた能力を示していますが、トレーニング データの記憶も示しているため、プライバシーと著作権に関する多大な懸念が生じています。
これまでの研究では事前トレーニング中の暗記が研究されてきましたが、微調整中の暗記の探求はかなり限定されています。
事前トレーニングと比較して、微調整には通常、機密データと多様な目的が含まれるため、独特の暗記動作と明らかなプライバシー リスクが生じる可能性があります。
この研究では、タスク全体の微調整中の LM の記憶を調査するための最初の包括的な分析を実行します。
さまざまなタスクにわたるオープンソースおよび独自の微調整された LM を使用した研究では、微調整された暗記がタスク間で大きな差異を示していることが示されています。
私たちは、スパースコーディング理論を通じてこのタスクの差異を理解し、暗記と注意力スコアの分布との間に強い相関関係があることを明らかにしました。
マルチタスクの微調整は、その記憶動作を調査することで、微調整された記憶を軽減する潜在的な戦略を切り開きます。

要約(オリジナル)

LLMs have shown great capabilities in various tasks but also exhibited memorization of training data, thus raising tremendous privacy and copyright concerns. While prior work has studied memorization during pre-training, the exploration of memorization during fine-tuning is rather limited. Compared with pre-training, fine-tuning typically involves sensitive data and diverse objectives, thus may bring unique memorization behaviors and distinct privacy risks. In this work, we conduct the first comprehensive analysis to explore LMs’ memorization during fine-tuning across tasks. Our studies with open-sourced and our own fine-tuned LMs across various tasks indicate that fine-tuned memorization presents a strong disparity among tasks. We provide an understanding of this task disparity via sparse coding theory and unveil a strong correlation between memorization and attention score distribution. By investigating its memorization behavior, multi-task fine-tuning paves a potential strategy to mitigate fine-tuned memorization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google