Recognition, recall, and retention of few-shot memories in large language models

要約

最新の大規模言語モデル (LLM) のトレーニングは、トレーニングの過程でほとんどのトレーニング例がモデルによって数回しか見られない体制で行われます。
トレーニング中に数回しか見られなかったそのような例について、モデルは何を覚えているのでしょうか?また、新しい例を使用した継続的なトレーニングに直面して、その記憶はどのくらい持続するのでしょうか?
ここでは、LLM を使用した単純な認識、想起、保持実験を通じて、これらの問題を調査します。
認識実験では、モデルが見た例と新しい例を区別できるかどうかを尋ねます。
想起実験では、見た例の一部によって手がかりが得られたときに、モデルが見た例を正しく思い出せるかどうかを尋ねます。
また、保持実験では、モデルが新しい例で継続的にトレーニングされるため、元の例のモデルのメモリを定期的に調べます。
非常に困難な認識実験であっても、モデルがほぼ完全な精度を達成するには、通常、1回の露出で十分であることがわかりました。
私たちは、小さな言語モデルの認識性能でさえ、人間を使った同様の実験で報告された人間の認識性能を容易に超えると見積もっています (Shepard、1967)。
ほぼ完全なリコールを達成するには、より多くの露出が必要ですが、ほとんどのモデルはわずか 3 回の露出でそれを行うことができます。
この驚くべき高速学習能力の裏側は、正確な記憶がすぐに上書きされることです。元のサンプルのリコール パフォーマンスは、新しいサンプルを使用した最初の 10 回のトレーニング更新で急激に低下し、その後、より緩やかな低下が続きます。
ただし、100K の更新後でも、元の例のいくつかはまだほぼ完全に再現されています。
以前の人間の長期記憶保持研究で、質的に類似した保持パターンが観察されています (Bahrick、1984)。
最後に、認識は想起よりも干渉に対してはるかに堅牢であり、自然言語文の記憶は一般に、構造のない刺激の記憶よりも優れています。

要約(オリジナル)

The training of modern large language models (LLMs) takes place in a regime where most training examples are seen only a few times by the model during the course of training. What does a model remember about such examples seen only a few times during training and how long does that memory persist in the face of continuous training with new examples? Here, we investigate these questions through simple recognition, recall, and retention experiments with LLMs. In recognition experiments, we ask if the model can distinguish the seen example from a novel example; in recall experiments, we ask if the model can correctly recall the seen example when cued by a part of it; and in retention experiments, we periodically probe the model’s memory for the original examples as the model is trained continuously with new examples. We find that a single exposure is generally sufficient for a model to achieve near perfect accuracy even in very challenging recognition experiments. We estimate that the recognition performance of even small language models easily exceeds human recognition performance reported in similar experiments with humans (Shepard, 1967). Achieving near perfect recall takes more exposures, but most models can do it in just 3 exposures. The flip side of this remarkable capacity for fast learning is that precise memories are quickly overwritten: recall performance for the original examples drops steeply over the first 10 training updates with new examples, followed by a more gradual decline. Even after 100K updates, however, some of the original examples are still recalled near perfectly. A qualitatively similar retention pattern has been observed in human long-term memory retention studies before (Bahrick, 1984). Finally, recognition is much more robust to interference than recall and memory for natural language sentences is generally superior to memory for stimuli without structure.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google