Recursively Summarizing Enables Long-Term Dialogue Memory in Large Language Models

要約

オープンドメインの対話システムのほとんどは、特に長時間の会話では重要な情報を忘れてしまうという問題があります。
既存の研究では通常、過去から重要な情報を取得するために特定の取得者または要約者をトレーニングしますが、これには時間がかかり、ラベル付きデータの品質に大きく依存します。
この問題を軽減するために、大規模言語モデル (LLM) を使用して要約/記憶を再帰的に生成し、長期記憶能力を強化することを提案します。
具体的には、私たちの方法はまずLLMを刺激して小さな会話のコンテキストを記憶させ、次に以前の記憶と次のコンテキストを使用して新しい記憶を再帰的に生成します。
最後に、LLM は最新のメモリを利用して、一貫性の高い応答を簡単に生成できます。
ChatGPT と text-davinci-003 を使用してメソッドを評価し、広く使用されている公開データセットでの実験により、このメソッドが長いコンテキストの会話でより一貫した応答を生成できることが示されました。
特に、私たちの方法は、LLM が非常に長いコンテキストをモデル化できるようにする潜在的なソリューションです。
コードとスクリプトは後でリリースされます。

要約(オリジナル)

Most open-domain dialogue systems suffer from forgetting important information, especially in a long-term conversation. Existing works usually train the specific retriever or summarizer to obtain key information from the past, which is time-consuming and highly depends on the quality of labeled data. To alleviate this problem, we propose to recursively generate summaries/ memory using large language models (LLMs) to enhance long-term memory ability. Specifically, our method first stimulates LLMs to memorize small dialogue contexts and then recursively produce new memory using previous memory and following contexts. Finally, the LLM can easily generate a highly consistent response with the help of the latest memory. We evaluate our method using ChatGPT and text-davinci-003, and the experiments on the widely-used public dataset show that our method can generate more consistent responses in a long-context conversation. Notably, our method is a potential solution to enable the LLM to model the extremely long context. Code and scripts will be released later.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google