要約
生涯にわたる人間とエージェントの対話を実現するには、対話エージェントは認識された情報を常に記憶し、応答生成 (RG) のためにそれを適切に取得する必要があります。
これまでの研究は、検索の質を向上させるために古い記憶を取り除くことに重点を置いているが、我々は、そのような記憶が長期的な会話においてRGにとって豊富で重要な文脈上の手がかり(例えば、ユーザーの行動の変化)を提供すると主張する。
私たちは、LLM ベースの生涯対話エージェントのフレームワークである Theanine を紹介します。
テアニンは記憶の除去を放棄し、大規模な記憶を時間的・因果関係に基づいて関連付けて管理します。
このリンク構造により、テアニンは記憶タイムライン (関連する過去の出来事の展開や因果関係を表す一連の記憶) で RG を強化します。
テアニンに加えて、反事実主導の評価スキームである TeaFarm を紹介し、G-Eval の限界と記憶増強対話エージェントの測定における人間の努力に対処します。
Theanine の補足ビデオと TeaFarm のデータは、https://huggingface.co/spaces/ResearcherScholar/Theanine にあります。
要約(オリジナル)
To achieve lifelong human-agent interaction, dialogue agents need to constantly memorize perceived information and properly retrieve it for response generation (RG). While prior work focuses on getting rid of outdated memories to improve retrieval quality, we argue that such memories provide rich, important contextual cues for RG (e.g., changes in user behaviors) in long-term conversations. We present Theanine, a framework for LLM-based lifelong dialogue agents. Theanine discards memory removal and manages large-scale memories by linking them based on their temporal and cause-effect relation. Enabled by this linking structure, Theanine augments RG with memory timelines – series of memories representing the evolution or causality of relevant past events. Along with Theanine, we introduce TeaFarm, a counterfactual-driven evaluation scheme, addressing the limitation of G-Eval and human efforts in measuring memory-augmented dialogue agents. A supplementary video for Theanine and data for TeaFarm are at https://huggingface.co/spaces/ResearcherScholar/Theanine.
arxiv情報
著者 | Kai Tzu-iunn Ong,Namyoung Kim,Minju Gwak,Hyungjoo Chae,Taeyoon Kwon,Yohan Jo,Seung-won Hwang,Dongha Lee,Jinyoung Yeo |
発行日 | 2024-10-18 12:54:21+00:00 |
arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google