On Memory Construction and Retrieval for Personalized Conversational Agents

要約

本論文では、次の2つの重要な発見を提示する。(1)記憶単位の粒度が重要である。ターンレベル、セッションレベル、要約ベースの方法は、それぞれ記憶検索精度と検索された内容の意味的品質の両方で限界を示す。(2)LLMLingua-2のようなプロンプト圧縮法は、異なる粒度で記憶検索精度を向上させるノイズ除去メカニズムとして効果的に機能する。これらの知見に基づき、我々はSeComを提案する。SeComは、長期的な会話を局所的にまとまったセグメントに分割する会話分割モデルを導入することで、セグメントレベルでメモリバンクを構築する手法である。実験の結果、SeComは長期会話ベンチマークであるLOCOMOとLong-MT-Bench+において、ベースラインに対して有意な性能優位性を示した。さらに、提案する会話分割手法は、DialSeg711、TIAGE、SuperDialSegなどの対話分割データセットにおいて優れた性能を示す。

要約(オリジナル)

To deliver coherent and personalized experiences in long-term conversations, existing approaches typically perform retrieval augmented response generation by constructing memory banks from conversation history at either the turn-level, session-level, or through summarization techniques.In this paper, we present two key findings: (1) The granularity of memory unit matters: turn-level, session-level, and summarization-based methods each exhibit limitations in both memory retrieval accuracy and the semantic quality of the retrieved content. (2) Prompt compression methods, such as LLMLingua-2, can effectively serve as a denoising mechanism, enhancing memory retrieval accuracy across different granularities. Building on these insights, we propose SeCom, a method that constructs the memory bank at segment level by introducing a conversation segmentation model that partitions long-term conversations into topically coherent segments, while applying compression based denoising on memory units to enhance memory retrieval. Experimental results show that SeCom exhibits a significant performance advantage over baselines on long-term conversation benchmarks LOCOMO and Long-MT-Bench+. Additionally, the proposed conversation segmentation method demonstrates superior performance on dialogue segmentation datasets such as DialSeg711, TIAGE, and SuperDialSeg.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL