PerLTQA: A Personal Long-Term Memory Dataset for Memory Classification, Retrieval, and Synthesis in Question Answering

要約

長期記憶は対話において世界の知識、歴史情報、好みをより効果的に活用できると考えると、長期記憶は個人的な交流において重要な役割を果たします。
私たちの研究では、世界の知識、プロフィール、社会的関係、出来事、対話などの意味記憶とエピソード記憶を組み合わせた革新的な QA データセットである PerLTQA を導入しています。
このデータセットは、QA タスクにおける社会的相互作用とイベントに焦点を当て、個人化された記憶の使用を調査するために収集されます。
PerLTQA は 2 種類のメモリと、30 文字に対する 8,593 の質問の包括的なベンチマークを特徴としており、大規模言語モデル (LLM) でのパーソナライズされたメモリの探索と適用を容易にします。
PerLTQA に基づいて、メモリの統合と生成のための新しいフレームワークを提案します。このフレームワークは、メモリ分類、メモリ検索、メモリ合成という 3 つの主要コンポーネントで構成されます。
5 つの LLM と 3 つのレトリーバーを使用してこのフレームワークを評価します。
実験結果は、BERT ベースの分類モデルが記憶分類タスクにおいて ChatGLM3 や ChatGPT などの LLM よりも大幅に優れていることを示しています。
さらに、私たちの研究は、QA タスクにおける効果的なメモリ統合の重要性を強調しています。

要約(オリジナル)

Long-term memory plays a critical role in personal interaction, considering long-term memory can better leverage world knowledge, historical information, and preferences in dialogues. Our research introduces PerLTQA, an innovative QA dataset that combines semantic and episodic memories, including world knowledge, profiles, social relationships, events, and dialogues. This dataset is collected to investigate the use of personalized memories, focusing on social interactions and events in the QA task. PerLTQA features two types of memory and a comprehensive benchmark of 8,593 questions for 30 characters, facilitating the exploration and application of personalized memories in Large Language Models (LLMs). Based on PerLTQA, we propose a novel framework for memory integration and generation, consisting of three main components: Memory Classification, Memory Retrieval, and Memory Synthesis. We evaluate this framework using five LLMs and three retrievers. Experimental results demonstrate that BERT-based classification models significantly outperform LLMs such as ChatGLM3 and ChatGPT in the memory classification task. Furthermore, our study highlights the importance of effective memory integration in the QA task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google