Improving Generalization in Task-oriented Dialogues with Workflows and Action Plans

要約

タスク指向の対話が難しいのは、ユーザーの意図を理解し、ユーザーから情報を収集し、APIコールを実行し、親切で流暢な応答を生成することが含まれるからです。しかし、複雑なタスクの場合、複数のステップを経て、特定の順序でこれらのすべてを正しく実行する必要があります。大規模な事前学習済み言語モデルをエンドツーエンドで微調整することで、流暢なテキストを生成するマルチステップ・タスク指向の対話エージェントを作成することができますが、このアプローチだけでは、学習中に見たことのない新しいマルチステップ・タスクを確実に実行できないことが実験で確認されました。これらの制限に対処するために、私たちは⽋⽋md{text2text} トランスフォーマーに与えられる対話コンテキストを、既知の⽋⽋{有効なワークフロー名}と⽋⾏計画}で補強しました。アクションプランは、タスクを達成するために必要なアクションのシーケンスからなり、キーワードの単純なシーケンスとして符号化される（例：verify-identity, pull-up-account, reset-password, etc. ）。我々は、T5-small、base、largeモデルを用いて、Action-Based Conversations Dataset (ABCD)の広範な実験を行い、以下のことを示した：a）提供された計画に従うことによって、より容易に未知のワークフローに一般化できる、b）計画で提供されていれば未見のアクションを実行することに一般化できる。一方、アクションプランの情報が提供されていないモデルでは、新しい有効なワークフロー名が与えられても、新しいマルチステップタスクを完全に達成することができない。

要約(オリジナル)

Task-oriented dialogue is difficult in part because it involves understanding user intent, collecting information from the user, executing API calls, and generating helpful and fluent responses. However, for complex tasks one must also correctly do all of these things over multiple steps, and in a specific order. While large pre-trained language models can be fine-tuned end-to-end to create multi-step task-oriented dialogue agents that generate fluent text, our experiments confirm that this approach alone cannot reliably perform new multi-step tasks that are unseen during training. To address these limitations, we augment the dialogue contexts given to \textmd{text2text} transformers with known \textit{valid workflow names} and \textit{action plans}. Action plans consist of sequences of actions required to accomplish a task, and are encoded as simple sequences of keywords (e.g. verify-identity, pull-up-account, reset-password, etc.). We perform extensive experiments on the Action-Based Conversations Dataset (ABCD) with T5-small, base and large models, and show that such models: a) are able to more readily generalize to unseen workflows by following the provided plan, and b) are able to generalize to executing unseen actions if they are provided in the plan. In contrast, models are unable to fully accomplish new multi-step tasks when they are not provided action plan information, even when given new valid workflow names.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL