Are LLMs All You Need for Task-Oriented Dialogue?

要約

タイトル：LLMはタスク指向型の対話に必要なものですか？

要約：
– LLMとは、最近人気のある大規模言語モデルで、会話を通じてユーザーとやり取りする能力を有するものです。
– この研究では、確立されたタスク指向型対話ベンチマークの文脈で、多段階タスクの完了と外部データベースとのやり取り能力を評価することを目的としています。
– 明示的信念状態の追跡については、LLMは専門のタスク特化モデルに比べて性能が低いと示されています。
– ただし、正しいスロット値が与えられた場合には、対話を成功裏に終了させる能力があることが示されました。
– さらに、真の信念状態分布へのアクセスやドメイン内の例にアクセスできる場合、この能力は改善するとのことです。

要約(オリジナル)

Instructions-tuned Large Language Models (LLMs) gained recently huge popularity thanks to their ability to interact with users through conversation. In this work we aim to evaluate their ability to complete multi-turn tasks and interact with external databases in the context of established task-oriented dialogue benchmarks. We show that for explicit belief state tracking, LLMs underperform compared to specialized task-specific models. Nevertheless, they show ability to guide the dialogue to successful ending if given correct slot values. Furthermore this ability improves with access to true belief state distribution or in-domain examples.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI