Compress to Impress: Unleashing the Potential of Compressive Memory in Real-World Long-Term Conversations

要約

既存の検索ベースの方法は、長期的な会話の維持において大幅な進歩を遂げました。
ただし、これらのアプローチは、メモリ データベースの管理と正確なメモリの取得において課題に直面しており、動的で現実世界のインタラクションにおける有効性が妨げられています。
この研究では、従来の検索モジュールやメモリ データベースを回避する新しいフレームワークである COmpressive Memory-Enhanced Dialogue Systems (COMEDY) を導入します。
代わりに、COMEDY は「One-for-All」アプローチを採用し、単一の言語モデルを利用してメモリ生成、圧縮、および応答生成を管理します。
このフレームワークの中心となるのは、セッション固有の概要、ユーザーとボットのダイナミクス、および過去のイベントを簡潔なメモリ形式に統合する圧縮メモリの概念です。
COMEDY をサポートするために、実際のユーザーとチャットボットの対話から派生した大規模な中国語の命令チューニング データセット、Dolphin を厳選しました。
比較評価では、より微妙で人間らしい会話体験を生み出す点で、従来の検索ベースの方法よりも COMEDY が優れていることが実証されています。
私たちのコードは https://github.com/nuochenpku/COMEDY で入手できます。

要約(オリジナル)

Existing retrieval-based methods have made significant strides in maintaining long-term conversations. However, these approaches face challenges in memory database management and accurate memory retrieval, hindering their efficacy in dynamic, real-world interactions. This study introduces a novel framework, COmpressive Memory-Enhanced Dialogue sYstems (COMEDY), which eschews traditional retrieval modules and memory databases. Instead, COMEDY adopts a ‘One-for-All’ approach, utilizing a single language model to manage memory generation, compression, and response generation. Central to this framework is the concept of compressive memory, which intergrates session-specific summaries, user-bot dynamics, and past events into a concise memory format. To support COMEDY, we curated a large-scale Chinese instruction-tuning dataset, Dolphin, derived from real user-chatbot interactions. Comparative evaluations demonstrate COMEDY’s superiority over traditional retrieval-based methods in producing more nuanced and human-like conversational experiences. Our codes are available at https://github.com/nuochenpku/COMEDY.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google