A Multi-Perspective Analysis of Memorization in Large Language Models

要約

大規模言語モデル (LLM) は、数十億のパラメーターを含む大規模なコーパスでトレーニングされ、さまざまな分野で前例のないパフォーマンスを示します。
研究者たちは、LLM の優れたパフォーマンスに驚きましたが、LLM のいくつかの特別な動作にも気づきました。
それらの動作の 1 つは記憶であり、LLM はトレーニングに使用したものと同じコンテンツを生成できます。
これまでの研究では暗記について議論されてきましたが、LLM の暗記、特に暗記の原因とその生成のダイナミクスについてはまだ説明が不足しています。
本研究では、暗記についてさまざまな観点から総合的に議論し、暗記内容だけでなく、記憶に残っていない内容にも議論の範囲を広げました。
さまざまな研究を通じて、私たちは次のことを発見しました。 (1) 実験を通じて、モデルサイズ、継続サイズ、およびコンテキストサイズの間の記憶の関係を明らかにしました。
さらに、未記憶の文がどのようにして記憶された文に移行するかを示しました。
(2) 埋め込み解析を通じて、異なる暗記スコアを持つ文の埋め込み空間におけるモデルサイズにわたる分布と復号ダイナミクスを示しました。
n グラム統計分析は d (3) を示します。n グラムとエントロピー復号化ダイナミクスの分析により、モデルが記憶された文または記憶されていない文の生成を開始するときの境界効果が発見されました。
(4)さまざまなモデルの記憶を予測するために Transformer モデルをトレーニングし、コンテキストによって記憶を予測できることを示しました。

要約(オリジナル)

Large Language Models (LLMs), trained on massive corpora with billions of parameters, show unprecedented performance in various fields. Though surprised by their excellent performances, researchers also noticed some special behaviors of those LLMs. One of those behaviors is memorization, in which LLMs can generate the same content used to train them. Though previous research has discussed memorization, the memorization of LLMs still lacks explanation, especially the cause of memorization and the dynamics of generating them. In this research, we comprehensively discussed memorization from various perspectives and extended the discussion scope to not only just the memorized content but also less and unmemorized content. Through various studies, we found that: (1) Through experiments, we revealed the relation of memorization between model size, continuation size, and context size. Further, we showed how unmemorized sentences transition to memorized sentences. (2) Through embedding analysis, we showed the distribution and decoding dynamics across model size in embedding space for sentences with different memorization scores. The n-gram statistics analysis presents d (3) An analysis over n-gram and entropy decoding dynamics discovered a boundary effect when the model starts to generate memorized sentences or unmemorized sentences. (4)We trained a Transformer model to predict the memorization of different models, showing that it is possible to predict memorizations by context.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google