Incorporating External Knowledge and Goal Guidance for LLM-based Conversational Recommender Systems

要約

本稿では、大規模言語モデル(LLM)が会話レコメンダーシステム(CRS)タスクにおいて、外部知識とゴールガイダンスを効率的に利用できるようにすることを目的とする。先進的なLLM(例えばChatGPT)は、ドメイン固有のCRSタスクにおいて、1)レコメンデーション指向の知識を用いて根拠のある応答を生成する、あるいは2)様々な対話ゴールを通じて積極的に会話を導く、といった点で限界がある。本研究では、まず、包括的な評価を通してこれらの限界を分析し、推薦精度と言語品質に大きく貢献する外部知識とゴールガイダンスの必要性を示す。この知見に基づき、我々は、1)外部知識ベースを推論するためのツール拡張アプローチを用いた知識検索エージェントと、2)対話ゴール予測のためのゴールプランニングエージェントの実装を通して、複雑なCRSタスクをいくつかのサブタスクに分解する新しいChatCRSフレームワークを提案する。2つのマルチゴールCRSデータセットでの実験結果は、ChatCRSが新たな最先端ベンチマークを設定し、情報量の言語品質を17%向上させ、積極性を27%向上させ、推薦精度を10倍向上させることを明らかにした。

要約(オリジナル)

This paper aims to efficiently enable large language models (LLMs) to use external knowledge and goal guidance in conversational recommender system (CRS) tasks. Advanced LLMs (e.g., ChatGPT) are limited in domain-specific CRS tasks for 1) generating grounded responses with recommendation-oriented knowledge, or 2) proactively leading the conversations through different dialogue goals. In this work, we first analyze those limitations through a comprehensive evaluation, showing the necessity of external knowledge and goal guidance which contribute significantly to the recommendation accuracy and language quality. In light of this finding, we propose a novel ChatCRS framework to decompose the complex CRS task into several sub-tasks through the implementation of 1) a knowledge retrieval agent using a tool-augmented approach to reason over external Knowledge Bases and 2) a goal-planning agent for dialogue goal prediction. Experimental results on two multi-goal CRS datasets reveal that ChatCRS sets new state-of-the-art benchmarks, improving language quality of informativeness by 17% and proactivity by 27%, and achieving a tenfold enhancement in recommendation accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL