Zero-Shot Goal-Directed Dialogue via RL on Imagined Conversations

要約

大規模言語モデル (LLM) は、多くの自然言語タスクに対する強力で汎用的なソリューションとして登場しました。
ただし、言語生成の最も重要なアプリケーションの多くは対話型であり、エージェントは望ましい結果に到達するために人と会話する必要があります。
たとえば、教師は生徒の現在の理解度を理解して、それに応じて指導を調整しようとするかもしれませんし、旅行代理店は、顧客が楽しみそうなアクティビティを勧めるために、顧客の好みを理解するために質問をするかもしれません。
標準的な RLHF と同様に、教師あり微調整または「シングルステップ」RL でトレーニングされた LLM は、複数ターンの対話後に全体的な会話の結果を最適化するようにトレーニングされていないため、そのような目標指向の動作を必要とするタスクに苦戦する可能性があります。
この研究では、このような目標指向の対話のために LLM と RL を適応させるための新しい方法を探索します。
私たちの重要な洞察は、LLM はそのままでは目標指向の対話タスクを効果的に解決できないかもしれないが、最適ではないが人間に似た行動をシミュレートすることで、そのようなタスクを解決するための有用なデータを提供できるということです。
目標指向の対話タスクのテキストによる説明が与えられた場合、LLM を活用して、仮想のドメイン内人間間の相互作用の多様な合成ロールアウトをサンプリングします。
次に、私たちのアルゴリズムは、このデータセットをオフライン強化学習で利用して、複数のターンにわたって目標に向けた目標を最適化できる対話型の会話型エージェントをトレーニングします。
実際には、LLM は考えられる対話の例を生成し、RL はこれらの例を処理して、より最適な対話を実行する方法を学習します。
経験的に、私たちが提案したアプローチは、教育や好みの引き出しを含むさまざまな目標指向の対話タスクにおいて最先端のパフォーマンスを達成することを示しています。

要約(オリジナル)

Large language models (LLMs) have emerged as powerful and general solutions to many natural language tasks. However, many of the most important applications of language generation are interactive, where an agent has to talk to a person to reach a desired outcome. For example, a teacher might try to understand their student’s current comprehension level to tailor their instruction accordingly, and a travel agent might ask questions of their customer to understand their preferences in order to recommend activities they might enjoy. LLMs trained with supervised fine-tuning or ‘single-step’ RL, as with standard RLHF, might struggle which tasks that require such goal-directed behavior, since they are not trained to optimize for overall conversational outcomes after multiple turns of interaction. In this work, we explore a new method for adapting LLMs with RL for such goal-directed dialogue. Our key insight is that, though LLMs might not effectively solve goal-directed dialogue tasks out of the box, they can provide useful data for solving such tasks by simulating suboptimal but human-like behaviors. Given a textual description of a goal-directed dialogue task, we leverage LLMs to sample diverse synthetic rollouts of hypothetical in-domain human-human interactions. Our algorithm then utilizes this dataset with offline reinforcement learning to train an interactive conversational agent that can optimize goal-directed objectives over multiple turns. In effect, the LLM produces examples of possible interactions, and RL then processes these examples to learn to perform more optimal interactions. Empirically, we show that our proposed approach achieves state-of-the-art performance in various goal-directed dialogue tasks that include teaching and preference elicitation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google