CarMem: Enhancing Long-Term Memory in LLM Voice Assistants through Category-Bounding

要約

今日のアシスタントの状況では、パーソナライズによって対話が強化され、長期的な関係が促進され、エンゲージメントが深まります。
しかし、多くのシステムはユーザーの好みを保持するのに苦労しており、ユーザーのリクエストが繰り返され、エンゲージメントが低下してしまいます。
さらに、業界アプリケーションにおけるユーザーの好みの規制がなく不透明な抽出は、特にヨーロッパのような規制が厳しい地域では、プライバシーと信頼に関して重大な懸念を引き起こします。
これらの課題に対応して、事前定義されたカテゴリを中心に構造化された音声アシスタント用の長期記憶システムを提案します。
このアプローチでは、大規模言語モデルを活用して、これらのカテゴリ内の設定を効率的に抽出、保存、取得し、パーソナライゼーションと透明性の両方を確保します。
また、実際の業界データに基づいて、車内の音声アシスタント設定に合わせて調整された合成マルチターン、マルチセッション会話データセット (CarMem) も紹介します。
データセットでベンチマークを行うと、当社のシステムは、カテゴリの粒度に応じて、嗜好抽出で 0.78 ～ 0.95 の F1 スコアを達成しました。
私たちのメンテナンス戦略は、重複する設定を 95%、矛盾する設定を 92% 削減し、最適な検索の精度は 0.87 です。
まとめると、結果はシステムが産業用途に適していることを示しています。

要約(オリジナル)

In today’s assistant landscape, personalisation enhances interactions, fosters long-term relationships, and deepens engagement. However, many systems struggle with retaining user preferences, leading to repetitive user requests and disengagement. Furthermore, the unregulated and opaque extraction of user preferences in industry applications raises significant concerns about privacy and trust, especially in regions with stringent regulations like Europe. In response to these challenges, we propose a long-term memory system for voice assistants, structured around predefined categories. This approach leverages Large Language Models to efficiently extract, store, and retrieve preferences within these categories, ensuring both personalisation and transparency. We also introduce a synthetic multi-turn, multi-session conversation dataset (CarMem), grounded in real industry data, tailored to an in-car voice assistant setting. Benchmarked on the dataset, our system achieves an F1-score of .78 to .95 in preference extraction, depending on category granularity. Our maintenance strategy reduces redundant preferences by 95% and contradictory ones by 92%, while the accuracy of optimal retrieval is at .87. Collectively, the results demonstrate the system’s suitability for industrial applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google