MemInsight: Autonomous Memory Augmentation for LLM Agents

要約

大規模な言語モデル（LLM）エージェントは、情報をインテリジェントに処理し、意思決定を行い、ユーザーまたはツールと対話するために進化しました。
重要な機能は、長期のメモリ機能の統合であり、これらのエージェントが歴史的な相互作用と知識を利用できるようにすることです。
ただし、メモリのサイズの増加とセマンティック構造化の必要性は、大きな課題をもたらします。
この作業では、セマンティックデータの表現と検索メカニズムを強化するために、自律的なメモリ増強アプローチであるMeminsightを提案します。
歴史的相互作用に自律的な増強を活用することにより、LLMエージェントは、より正確で文脈化された応答を提供することが示されています。
3つのタスクシナリオで提案されたアプローチの有効性を経験的に検証します。
会話の推奨事項、質問への回答、イベントの要約。
LLM Redial Datasetでは、Meminsightは推奨事項の説得力を最大14％増加させます。
さらに、ロコモ検索のリコールで、RAGベースラインを34％上回ることができます。
私たちの経験的結果は、複数のタスクにわたるLLMエージェントのコンテキストパフォーマンスを強化するためのMeminsightの可能性を示しています。

要約(オリジナル)

Large language model (LLM) agents have evolved to intelligently process information, make decisions, and interact with users or tools. A key capability is the integration of long-term memory capabilities, enabling these agents to draw upon historical interactions and knowledge. However, the growing memory size and need for semantic structuring pose significant challenges. In this work, we propose an autonomous memory augmentation approach, MemInsight, to enhance semantic data representation and retrieval mechanisms. By leveraging autonomous augmentation to historical interactions, LLM agents are shown to deliver more accurate and contextualized responses. We empirically validate the efficacy of our proposed approach in three task scenarios; conversational recommendation, question answering and event summarization. On the LLM-REDIAL dataset, MemInsight boosts persuasiveness of recommendations by up to 14%. Moreover, it outperforms a RAG baseline by 34% in recall for LoCoMo retrieval. Our empirical results show the potential of MemInsight to enhance the contextual performance of LLM agents across multiple tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google