From LLM to Conversational Agent: A Memory Enhanced Architecture with Fine-Tuning of Large Language Models

要約

このペーパーでは、GPT-4 などの大規模言語モデル (LLM) の会話エージェントへの統合を強化する高度なアーキテクチャである RAISE (Reasoning and Acting through Scratchpad and Examples) を紹介します。
ReAct フレームワークの拡張機能である RAISE には、人間の短期記憶と長期記憶をミラーリングするデュアルコンポーネント記憶システムが組み込まれており、会話のコンテキストと連続性を維持します。
これには、LLM トレーニング フェーズに至る、会話選択、シーン抽出、CoT 完了、シーン拡張などのフェーズを含む、包括的なエージェント構築シナリオが伴います。
このアプローチは、複雑なマルチターン対話におけるエージェントの制御性と適応性を強化すると思われます。
不動産販売の文脈における私たちの予備評価では、RAISE には従来のエージェントに比べていくつかの利点があり、より広範なアプリケーションの可能性が示されています。
この研究は、よりコンテキストを認識した多用途の会話エージェントを開発するための堅牢なフレームワークを提供することで、AI 分野に貢献します。

要約(オリジナル)

This paper introduces RAISE (Reasoning and Acting through Scratchpad and Examples), an advanced architecture enhancing the integration of Large Language Models (LLMs) like GPT-4 into conversational agents. RAISE, an enhancement of the ReAct framework, incorporates a dual-component memory system, mirroring human short-term and long-term memory, to maintain context and continuity in conversations. It entails a comprehensive agent construction scenario, including phases like Conversation Selection, Scene Extraction, CoT Completion, and Scene Augmentation, leading to the LLMs Training phase. This approach appears to enhance agent controllability and adaptability in complex, multi-turn dialogues. Our preliminary evaluations in a real estate sales context suggest that RAISE has some advantages over traditional agents, indicating its potential for broader applications. This work contributes to the AI field by providing a robust framework for developing more context-aware and versatile conversational agents.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google