Schrodinger’s Memory: Large Language Models

要約

記憶は人間のあらゆる活動の基礎です。
記憶がなければ、人々が日常生活で何らかの作業を行うことはほぼ不可能です。
大規模言語モデル (LLM) の開発により、その言語能力はますます人間の言語能力に匹敵するものになってきています。
しかし、LLM にはメモリがあるのでしょうか?
現在のパフォーマンスに基づくと、LLM にはメモリがあるように見えます。
では、この記憶の根底にあるメカニズムは何でしょうか?
これまでの研究では、LLM の記憶能力とその基礎となる理論についての深い調査が不足していました。
この論文では、ユニバーサル近似定理 (UAT) を使用して、LLM のメモリ メカニズムを説明します。
また、さまざまなLLMの記憶能力を検証する実験を行い、記憶能力に基づいてLLMの能力を評価する新たな手法を提案します。
私たちは、LLM メモリはシュレディンガーのメモリのように動作し、特定のメモリがクエリされた場合にのみ観察可能になることを意味すると主張します。
モデルがメモリを保持しているかどうかは、クエリに対する応答の出力に基づいてのみ判断できます。
それ以外の場合は不定のままです。
最後に、人間の脳と LLM の記憶能力を比較することでこの概念を拡張し、その動作メカニズムの類似点と相違点を強調します。

要約(オリジナル)

Memory is the foundation of all human activities; without memory, it would be nearly impossible for people to perform any task in daily life. With the development of Large Language Models (LLMs), their language capabilities are becoming increasingly comparable to those of humans. But do LLMs have memory? Based on current performance, LLMs do appear to exhibit memory. So, what is the underlying mechanism of this memory? Previous research has lacked a deep exploration of LLMs’ memory capabilities and the underlying theory. In this paper, we use Universal Approximation Theorem (UAT) to explain the memory mechanism in LLMs. We also conduct experiments to verify the memory capabilities of various LLMs, proposing a new method to assess their abilities based on these memory ability. We argue that LLM memory operates like Schr\’odinger’s memory, meaning that it only becomes observable when a specific memory is queried. We can only determine if the model retains a memory based on its output in response to the query; otherwise, it remains indeterminate. Finally, we expand on this concept by comparing the memory capabilities of the human brain and LLMs, highlighting the similarities and differences in their operational mechanisms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google