SAPIENT: Mastering Multi-turn Conversational Recommendation with Strategic Planning and Monte Carlo Tree Search

要約

会話型推奨システム（CRS）は、ユーザーをインタラクティブな対話に積極的に関与させて、ユーザーの好みを引き出し、パーソナライズされた推奨事項を提供します。
既存の方法は、貪欲なアクション選択またはサンプリング戦略を備えた強化学習（RL）ベースのエージェントを訓練し、最適ではない会話計画に苦しむ可能性があります。
これに対処するために、新しいMonte Carlo Tree Search（MCTS）ベースのCRSフレームワークSapientを提示します。
Sapientは、会話エージェント（S-Agent）と会話プランナー（S-Planner）で構成されています。
S-Plannerは、S-Agentが提案して会話計画を見つけるために提案された初期アクションに基づいて、MCTと会話型検索ツリーを構築します。
S-Plannerからの最高の会話計画は、S-Agentのトレーニングを導くために使用され、S-Agentが会話計画の能力を繰り返し改善できるセルフトレーニングループを作成します。
さらに、トレーニングの効率とパフォーマンスのトレードオフのための効率的なバリアントSAPIENT-Eを提案します。
4つのベンチマークデータセットでの広範な実験は、当社のアプローチの有効性を検証し、サピエントが最先端のベースラインを上回ることを示しています。

要約(オリジナル)

Conversational Recommender Systems (CRS) proactively engage users in interactive dialogues to elicit user preferences and provide personalized recommendations. Existing methods train Reinforcement Learning (RL)-based agent with greedy action selection or sampling strategy, and may suffer from suboptimal conversational planning. To address this, we present a novel Monte Carlo Tree Search (MCTS)-based CRS framework SAPIENT. SAPIENT consists of a conversational agent (S-agent) and a conversational planner (S-planner). S-planner builds a conversational search tree with MCTS based on the initial actions proposed by S-agent to find conversation plans. The best conversation plans from S-planner are used to guide the training of S-agent, creating a self-training loop where S-agent can iteratively improve its capability for conversational planning. Furthermore, we propose an efficient variant SAPIENT-e for trade-off between training efficiency and performance. Extensive experiments on four benchmark datasets validate the effectiveness of our approach, showing that SAPIENT outperforms the state-of-the-art baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google