Chitchat as Interference: Adding User Backstories to Task-Oriented Dialogues

要約

タスク指向対話 (TOD) 中に、人間のユーザーは自然にタスクの直接の範囲を超えた雑談を導入し、会話の流れを妨げます。
高価な手動データ作成を必要とせずにこの問題に対処するために、Llama-2-70B による少数ショット プロンプトを使用して、TOD におけるおしゃべり干渉の典型的な例であるユーザーのバックストーリーで MultiWOZ データセットを強化します。
この追加の影響を 2 つのモデルをテストすることによって評価します。1 つは TOD のみでトレーニングされ、もう 1 つは事前のおしゃべり対話を伴う TOD でトレーニングされました。
私たちの分析により、私たちの充実したデータセットがこれらのシステムに重大な課題をもたらしていることが明らかになりました。
さらに、人間の評価によって確認されたように、データセットがトレーニング目的に効果的に使用できることを実証し、システムがユーザーのバックストーリーを一貫して認識しながら、同じターン内でタスクを首尾よく進めることができるようにします。
これらの発見は、TOD システムをより徹底的にテストし、自然なユーザー干渉に対する復元力を向上させるために、新しいおしゃべり TOD シナリオを生成する利点を強調しています。

要約(オリジナル)

During task-oriented dialogues (TODs), human users naturally introduce chitchat that is beyond the immediate scope of the task, interfering with the flow of the conversation. To address this issue without the need for expensive manual data creation, we use few-shot prompting with Llama-2-70B to enhance the MultiWOZ dataset with user backstories, a typical example of chitchat interference in TODs. We assess the impact of this addition by testing two models: one trained solely on TODs and another trained on TODs with a preliminary chitchat interaction. Our analysis reveals that our enriched dataset poses a significant challenge to these systems. Moreover, we demonstrate that our dataset can be effectively used for training purposes, enabling a system to consistently acknowledge the user’s backstory while also successfully moving the task forward in the same turn, as confirmed by human evaluation. These findings highlight the benefits of generating novel chitchat-TOD scenarios to test TOD systems more thoroughly and improve their resilience to natural user interferences.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google