MemLLM: Finetuning LLMs to Use An Explicit Read-Write Memory

要約

現在の大規模言語モデル (LLM) は、多くの知識関連タスクで良好に機能しますが、暗黙的なストレージ メカニズムとしてパラメーターに依存するため、限界があります。
その結果、まれな出来事を記憶したり、時間の経過とともに事実が変化するにつれて記憶を更新したりするのに苦労します。
さらに、パラメトリック記憶の解釈不可能な性質により、幻覚を防ぐことが困難になります。
メモリに特化したパラメータを使用してモデルを編集したり、LLM を強化したりすることは、部分的な解決策にすぎません。
このペーパーでは、構造化された明示的な読み書きメモリ モジュールを統合することによって LLM を強化する新しい方法である MemLLM を紹介します。
MemLLM は、メモリとの動的な対話を可能にし、保存された知識を使用する LLM の機能を向上させることで、前述の課題に取り組みます。
私たちの実験では、MemLLM が言語モデリング全般、特に知識集約型タスクにおいて、LLM のパフォーマンスと解釈可能性を向上させることが示されています。
私たちは、MemLLM を、記憶増強を通じて LLM をより根拠のある事実にするための重要なステップとみなしています。

要約(オリジナル)

While current large language models (LLMs) perform well on many knowledge-related tasks, they are limited by relying on their parameters as an implicit storage mechanism. As a result, they struggle with memorizing rare events and with updating their memory as facts change over time. In addition, the uninterpretable nature of parametric memory makes it challenging to prevent hallucination. Model editing and augmenting LLMs with parameters specialized for memory are only partial solutions. In this paper, we introduce MemLLM, a novel method of enhancing LLMs by integrating a structured and explicit read-and-write memory module. MemLLM tackles the aforementioned challenges by enabling dynamic interaction with the memory and improving the LLM’s capabilities in using stored knowledge. Our experiments indicate that MemLLM enhances the LLM’s performance and interpretability, in language modeling in general and knowledge-intensive tasks in particular. We see MemLLM as an important step towards making LLMs more grounded and factual through memory augmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google