Memorization In In-Context Learning

要約

インコンテキスト学習 (ICL) は、追加のトレーニングなしで大規模言語モデル (LLM) のパフォーマンスを向上させる効果的な戦略であることが証明されています。
ただし、これらのパフォーマンス向上の背後にある正確なメカニズムはまだ不明です。
この研究は、ICL が記憶されたトレーニング データをどのように表面化するかを示し、さまざまな ICL レジーム (ゼロショット、少数ショット、多数ショット) にわたるこの記憶とパフォーマンスの相関関係を調査した最初の研究です。
私たちの最も注目すべき発見は次のとおりです。(1) ICL はほとんどの場合、ゼロショット学習と比較して暗記を大幅に表面化します。
(2) ラベルを付けずにデモンストレーションを行うことは、暗記を表面化する上で最も効果的な要素です。
(3) ICL は、数ショット方式での表面化された記憶が高レベル (約 40%) に達するとパフォーマンスを向上させます。
(4) ICL のパフォーマンスがゼロショット学習を上回る場合、パフォーマンスと暗記の間には非常に強い相関関係があります。
全体として、私たちの研究は、ICL の中核にある隠れた現象である暗記を明らかにし、重要な疑問を提起しています。LLM は、ICL でのデモンストレーションから実際にどの程度まで一般化しているのでしょうか、また、LLM の成功のどの程度が暗記によるものなのでしょうか?

要約(オリジナル)

In-context learning (ICL) has proven to be an effective strategy for improving the performance of large language models (LLMs) with no additional training. However, the exact mechanism behind these performance improvements remains unclear. This study is the first to show how ICL surfaces memorized training data and to explore the correlation between this memorization and performance across various ICL regimes: zero-shot, few-shot, and many-shot. Our most notable findings include: (1) ICL significantly surfaces memorization compared to zero-shot learning in most cases; (2) demonstrations, without their labels, are the most effective element in surfacing memorization; (3) ICL improves performance when the surfaced memorization in few-shot regimes reaches a high level (about 40%); and (4) there is a very strong correlation between performance and memorization in ICL when it outperforms zero-shot learning. Overall, our study uncovers a hidden phenomenon — memorization — at the core of ICL, raising an important question: to what extent do LLMs truly generalize from demonstrations in ICL, and how much of their success is due to memorization?

arxiv情報

提供元, 利用サービス

arxiv.jp, Google