Enhancing Large Language Model with Self-Controlled Memory Framework

要約

大規模言語モデル (LLM) は、長い入力を処理できないという制約があり、その結果、重要な履歴情報が失われます。
この制限に対処するために、この論文では、LLM が長期記憶を維持し、関連情報を思い出す能力を強化する自己制御記憶 (SCM) フレームワークを提案します。
当社の SCM フレームワークは、フレームワークのバックボーンとして機能する LLM ベースのエージェント、エージェントのメモリを保存するメモリ ストリーム、メモリを更新し、メモリ ストリームからメモリをいつどのように利用するかを決定するメモリ コントローラの 3 つの主要なコンポーネントで構成されています。
さらに、提案された SCM は、変更や微調整を行わずに超長いテキストを処理でき、プラグ アンド プレイ パラダイムで LLM に続く任意の命令と統合できます。
さらに、データセットに注釈を付けて、長い入力を処理するための SCM の有効性を評価します。
注釈付きのデータセットは、長期にわたる対話、書籍の要約、会議の要約という 3 つのタスクをカバーしています。
実験結果は、長期対話において競合ベースラインと比較して、私たちの方法がより優れた検索再現率を達成し、より有益な応答を生成することを示しています。
(https://github.com/wbbeyourself/SCM4LLMs)

要約(オリジナル)

Large Language Models (LLMs) are constrained by their inability to process lengthy inputs, resulting in the loss of critical historical information. To address this limitation, in this paper, we propose the Self-Controlled Memory (SCM) framework to enhance the ability of LLMs to maintain long-term memory and recall relevant information. Our SCM framework comprises three key components: an LLM-based agent serving as the backbone of the framework, a memory stream storing agent memories, and a memory controller updating memories and determining when and how to utilize memories from memory stream. Additionally, the proposed SCM is able to process ultra-long texts without any modification or fine-tuning, which can integrate with any instruction following LLMs in a plug-and-play paradigm. Furthermore, we annotate a dataset to evaluate the effectiveness of SCM for handling lengthy inputs. The annotated dataset covers three tasks: long-term dialogues, book summarization, and meeting summarization. Experimental results demonstrate that our method achieves better retrieval recall and generates more informative responses compared to competitive baselines in long-term dialogues. (https://github.com/wbbeyourself/SCM4LLMs)

arxiv情報

提供元, 利用サービス

arxiv.jp, Google