Exploring ReAct Prompting for Task-Oriented Dialogue: Insights and Shortcomings

要約

大規模な言語モデル（LLMS）は、構造化されていない会話における印象的な能力のために、非常に人気を博しました。
推論や演技（React）（Yao et al。、2022）などの高度なプロンプト戦略でLLMSに力を与えることは、伝統的に強化学習を必要とする複雑なタスクを解決することに有望であることを示しています。
この作業では、React戦略を適用して、タスク指向の対話（TOD）を実行するLLMSをガイドします。
シミュレーションと実際のユーザーとの両方で、ReactベースのLLMS（React-LLMS）を評価します。
React-llmsは、シミュレーションの成功率に関する最先端のアプローチを大幅に下回っていますが、この違いは人間の評価ではあまり顕著ではありません。
さらに、ベースラインと比較して、人間は、その自然で自信を持ってフレーズされた応答のおかげで、その成功率が低いにもかかわらず、反応llmに対するより高い主観的な満足度を報告しています。

要約(オリジナル)

Large language models (LLMs) gained immense popularity due to their impressive capabilities in unstructured conversations. Empowering LLMs with advanced prompting strategies such as reasoning and acting (ReAct) (Yao et al., 2022) has shown promise in solving complex tasks traditionally requiring reinforcement learning. In this work, we apply the ReAct strategy to guide LLMs performing task-oriented dialogue (TOD). We evaluate ReAct-based LLMs (ReAct-LLMs) both in simulation and with real users. While ReAct-LLMs severely underperform state-of-the-art approaches on success rate in simulation, this difference becomes less pronounced in human evaluation. Moreover, compared to the baseline, humans report higher subjective satisfaction with ReAct-LLM despite its lower success rate, most likely thanks to its natural and confidently phrased responses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google