Schrodinger’s Memory: Large Language Models

要約

メモリは LLM の機能の基礎ですが、過去の研究では、LLM のメモリ機能と基礎となる理論についての詳細な調査が不足していました。
この論文では、UAT 理論を適用して LLM のメモリ メカニズムを説明し、異なるモデルのメモリ容量を比較することによって LLM のパフォーマンスを評価するための新しいアプローチを提案します。
広範な実験を通じて、私たちは理論と LLM の記憶能力を検証します。
最後に、人間の脳と LLM の機能を比較し、動作メカニズムの点での類似点と相違点の両方を強調します。

要約(オリジナル)

Memory is the foundation of LLMs’ functionality, yet past research has lacked an in-depth exploration of their memory capabilities and underlying theory. In this paper, we apply UAT theory to explain the memory mechanism of LLMs and propose a new approach for evaluating LLM performance by comparing the memory capacities of different models. Through extensive experiments, we validate our theory and the memory abilities of LLMs. Finally, we compare the capabilities of the human brain and LLMs, highlighting both their similarities and differences in terms of working mechanisms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google