Do LLMs dream of elephants (when told not to)? Latent concept association and associative memory in transformers

要約

大規模言語モデル (LLM) には、事実を保存および呼び出す機能があります。
オープンソース モデルの実験を通じて、事実を取得するこの機能は、事実の意味を変更しなくても、コンテキストを変更することで簡単に操作できることがわかりました。
これらの発見は、LLM がコンテキスト内の特定のトークンが事実を取得する手がかりとして機能する連想記憶モデルのように動作する可能性があることを強調しています。
私たちは、LLM の構成要素であるトランスフォーマーがそのようなメモリ タスクをどのように完了できるかを研究することで、この特性を数学的に調査します。
私たちは、単層トランスフォーマーを使用した単純な潜在概念連想問題を研究し、トランスフォーマーが自己注意を使用して情報を収集し、連想記憶に値行列を使用することを理論的および経験的に示します。

要約(オリジナル)

Large Language Models (LLMs) have the capacity to store and recall facts. Through experimentation with open-source models, we observe that this ability to retrieve facts can be easily manipulated by changing contexts, even without altering their factual meanings. These findings highlight that LLMs might behave like an associative memory model where certain tokens in the contexts serve as clues to retrieving facts. We mathematically explore this property by studying how transformers, the building blocks of LLMs, can complete such memory tasks. We study a simple latent concept association problem with a one-layer transformer and we show theoretically and empirically that the transformer gathers information using self-attention and uses the value matrix for associative memory.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google