Are LLMs All You Need for Task-Oriented Dialogue?

要約

命令チューニングされた大規模言語モデル(LLM)は、会話を通じてユーザと対話する能力により、最近大きな人気を博している。本研究では、タスク指向の対話ベンチマークを用い、LLMの多回転タスクや外部データベースとの対話能力を評価する。我々は、明示的な信念状態追跡において、LLMはタスクに特化したモデルよりも性能が劣ることを示す。しかしながら、LLMは正しいスロット値が与えられた場合、対話を成功裏に終了させる能力を示す。さらに、この能力は、真の信念状態分布や領域内の事例にアクセスすることで向上する。

要約(オリジナル)

Instructions-tuned Large Language Models (LLMs) gained recently huge popularity thanks to their ability to interact with users through conversation. In this work we aim to evaluate their ability to complete multi-turn tasks and interact with external databases in the context of established task-oriented dialogue benchmarks. We show that for explicit belief state tracking, LLMs underperform compared to specialized task-specific models. Nevertheless, they show ability to guide the dialogue to successful ending if given correct slot values. Furthermore this ability improves with access to true belief state distribution or in-domain examples.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL