Enhancing Personalized Multi-Turn Dialogue with Curiosity Reward

要約

効果的な会話エージェントは、文章を書く作業を支援する場合でも、教育やヘルスケアなどの領域で動作する場合でも、ユーザーの好み、性格、属性に合わせて行動をパーソナライズできなければなりません。人間のフィードバックからの強化学習（RLHF）のような現在のトレーニング方法は、親切さと安全性を優先しますが、真に共感的で、適応的で、パーソナライズされたインタラクションを育てるには不十分です。パーソナライゼーションへの従来のアプローチは、多くの場合、広範なユーザー履歴に依存しており、新規ユーザーやコンテキストが限定されたユーザーに対する有効性を制限している。これらの制限を克服するために、我々は、マルチターンRLHFと並行して、会話エージェントのユーザーモデルを向上させる内発的動機を追加報酬として組み込むことを提案する。この報酬メカニズムは、エージェントがユーザモデルの精度を高めるために会話を最適化することで、ユーザの特徴を積極的に引き出すことを促す。その結果、政策エージェントは、ユーザに関するより多くの情報を得ることで、よりパーソナライズされたインタラクションを提供することができる。我々は、LLMがユーザの隠れた学習スタイルやライフスタイルの属性に基づいて、概念を教えたり、パーソナライズされた戦略を推奨したりする、教育とフィットネスの両方の設定に本方法を適用した。LLMで模擬されたユーザーを用いて、我々のアプローチは、ユーザーの嗜好に関する情報を明らかにし、それらに適応することにおいて、マルチターンRLHFベースラインを上回った。

要約(オリジナル)

Effective conversational agents must be able to personalize their behavior to suit a user’s preferences, personality, and attributes, whether they are assisting with writing tasks or operating in domains like education or healthcare. Current training methods like Reinforcement Learning from Human Feedback (RLHF) prioritize helpfulness and safety but fall short in fostering truly empathetic, adaptive, and personalized interactions. Traditional approaches to personalization often rely on extensive user history, limiting their effectiveness for new or context-limited users. To overcome these limitations, we propose to incorporate an intrinsic motivation to improve the conversational agents’s model of the user as an additional reward alongside multi-turn RLHF. This reward mechanism encourages the agent to actively elicit user traits by optimizing conversations to increase the accuracy of its user model. Consequently, the policy agent can deliver more personalized interactions through obtaining more information about the user. We applied our method both education and fitness settings, where LLMs teach concepts or recommend personalized strategies based on users’ hidden learning style or lifestyle attributes. Using LLM-simulated users, our approach outperformed a multi-turn RLHF baseline in revealing information about the users’ preferences, and adapting to them.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL