Undesirable Memorization in Large Language Models: A Survey

要約

最近の研究では、大規模言語モデル（LLM）の優れた能力がますます注目されるようになっているが、その一方で、LLMに隠された落とし穴と向き合うことが不可欠である。これらの課題の中でも、暗記の問題は際立っており、重大な倫理的・法的リスクをもたらしている。本稿では、LLMの暗記に関する知識の体系化（SoK）を紹介する。暗記とは、モデルが学習データからフレーズや文章を記憶し、再現する傾向のことであり、LLMに対する様々なプライバシー攻撃やセキュリティ攻撃の根本的な問題であることが示されている。 本論文では、まず記憶に関する文献を概観し、意図性、程度、検索可能性、抽象性、透明性という5つの主要な次元にわたって、記憶について検討する。次に、暗記を測定するために使用されるメトリクスと方法について説明し、暗記現象の要因について分析する。次に、暗記が特定のモデルアーキテクチャにおいてどのように現れるかを検証し、これらの影響を軽減するための戦略を探る。最後に、LLMの性能とプライバシーのバランスをとるための手法の開発、会話エージェント、検索支援型生成、多言語言語モデル、拡散言語モデルなど、特定のコンテキストにおける記憶化の分析など、近い将来の潜在的な研究テーマを特定することで、本概説を締めくくる。

要約(オリジナル)

While recent research increasingly showcases the remarkable capabilities of Large Language Models (LLMs), it’s vital to confront their hidden pitfalls. Among these challenges, the issue of memorization stands out, posing significant ethical and legal risks. In this paper, we presents a Systematization of Knowledge (SoK) on the topic of memorization in LLMs. Memorization is the effect that a model tends to store and reproduce phrases or passages from the training data and has been shown to be the fundamental issue to various privacy and security attacks against LLMs. We begin by providing an overview of the literature on the memorization, exploring it across five key dimensions: intentionality, degree, retrievability, abstraction, and transparency. Next, we discuss the metrics and methods used to measure memorization, followed by an analysis of the factors that contribute to memorization phenomenon. We then examine how memorization manifests itself in specific model architectures and explore strategies for mitigating these effects. We conclude our overview by identifying potential research topics for the near future: to develop methods for balancing performance and privacy in LLMs, and the analysis of memorization in specific contexts, including conversational agents, retrieval-augmented generation, multilingual language models, and diffusion language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL