Evaluating Very Long-Term Conversational Memory of LLM Agents

要約

長期にわたるオープンドメインの対話に関する既存の研究は、5 つ以内のチャット セッションにわたるコンテキスト内でのモデル応答の評価に焦点を当てています。
ロングコンテキスト大規模言語モデル (LLM) と検索拡張生成 (RAG) 技術の進歩にもかかわらず、非常に長期的な対話におけるそれらの有効性はまだ解明されていません。
この研究ギャップに対処するために、LLM ベースのエージェント アーキテクチャを活用し、ペルソナと時間イベント グラフに基づく対話を基盤とすることで、高品質で非常に長期的な対話を生成する機械と人間のパイプラインを導入します。
さらに、各エージェントに画像を共有し、画像に反応する機能を装備します。
生成された会話は、長期的な一貫性とイベント グラフへの基礎を保つために、人間のアノテーターによって検証および編集されます。
このパイプラインを使用して、LoCoMo という非常に長期の会話のデータセットを収集します。各会話には、最大 35 セッションにわたって平均 300 ターンと 9,000 トークンが含まれます。
LoCoMo に基づいて、質問応答、イベント要約、マルチモーダル対話生成タスクを含む、モデルの長期記憶を測定するための包括的な評価ベンチマークを提示します。
私たちの実験結果は、LLM が長い会話を理解し、対話内の長期にわたる時間的および因果的ダイナミクスを理解することに課題を示していることを示しています。
ロングコンテキスト LLM や RAG などの戦略を採用すると改善が見込めますが、これらのモデルは依然として人間のパフォーマンスより大幅に遅れています。

要約(オリジナル)

Existing works on long-term open-domain dialogues focus on evaluating model responses within contexts spanning no more than five chat sessions. Despite advancements in long-context large language models (LLMs) and retrieval augmented generation (RAG) techniques, their efficacy in very long-term dialogues remains unexplored. To address this research gap, we introduce a machine-human pipeline to generate high-quality, very long-term dialogues by leveraging LLM-based agent architectures and grounding their dialogues on personas and temporal event graphs. Moreover, we equip each agent with the capability of sharing and reacting to images. The generated conversations are verified and edited by human annotators for long-range consistency and grounding to the event graphs. Using this pipeline, we collect LoCoMo, a dataset of very long-term conversations, each encompassing 300 turns and 9K tokens on avg., over up to 35 sessions. Based on LoCoMo, we present a comprehensive evaluation benchmark to measure long-term memory in models, encompassing question answering, event summarization, and multi-modal dialogue generation tasks. Our experimental results indicate that LLMs exhibit challenges in understanding lengthy conversations and comprehending long-range temporal and causal dynamics within dialogues. Employing strategies like long-context LLMs or RAG can offer improvements but these models still substantially lag behind human performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google