Recursively Summarizing Enables Long-Term Dialogue Memory in Large Language Models

要約

最近、GPT-4などの大規模な言語モデル（LLM）は、驚くべき会話能力を際立たせ、幅広いトピック全体で動的で文脈的に関連する対話に従事することができます。
ただし、長い会話を考えると、これらのチャットボットは過去の情報を思い出すことができず、一貫性のない応答を生成する傾向があります。
これに対処するために、大規模な言語モデル（LLM）を使用して要約/メモリを再帰的に生成して、長期のメモリ能力を高めることを提案します。
具体的には、私たちの方法はまずLLMSを刺激し​​て小さな対話のコンテキストを記憶し、次に以前のメモリと次のコンテキストを使用して新しいメモリを再帰的に生成します。
最後に、チャットボットは、最新のメモリの助けを借りて、非常に一貫した応答を簡単に生成できます。
オープンLLMと閉じた両方のLLMでの方法を評価し、広く使用されているパブリックデータセットでの実験は、私たちの方法が長いコンテストの会話でより一貫した応答を生成できることを示しています。
また、私たちの戦略が、長いコンテキスト（8Kおよび16Kなど）と検索強化LLMの両方をうまく補完し、さらに長期的な対話パフォーマンスをもたらすことができることを示しています。
特に、私たちの方法は、LLMが非常に長いコンテキストをモデル化できるようにするための潜在的なソリューションです。
コードとスクリプトは後でリリースされます。

要約(オリジナル)

Recently, large language models (LLMs), such as GPT-4, stand out remarkable conversational abilities, enabling them to engage in dynamic and contextually relevant dialogues across a wide range of topics. However, given a long conversation, these chatbots fail to recall past information and tend to generate inconsistent responses. To address this, we propose to recursively generate summaries/ memory using large language models (LLMs) to enhance long-term memory ability. Specifically, our method first stimulates LLMs to memorize small dialogue contexts and then recursively produce new memory using previous memory and following contexts. Finally, the chatbot can easily generate a highly consistent response with the help of the latest memory. We evaluate our method on both open and closed LLMs, and the experiments on the widely-used public dataset show that our method can generate more consistent responses in a long-context conversation. Also, we show that our strategy could nicely complement both long-context (e.g., 8K and 16K) and retrieval-enhanced LLMs, bringing further long-term dialogue performance. Notably, our method is a potential solution to enable the LLM to model the extremely long context. The code and scripts will be released later.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google