BootTOD: Bootstrap Task-oriented Dialogue Representations by Aligning Diverse Responses

要約

事前に訓練された言語モデルは、多くのシナリオで成功を収めている。しかし、一般的なテキストとタスク指向のダイアログには本質的な言語的差異があるため、タスク指向のダイアログにおける有用性は限定的である。現在のタスク指向対話の事前学習法は対照的なフレームワークに依存しており、真陽性と真陰性の選択、多様性の欠如といった課題に直面している。本論文では、BootTODと呼ばれる新しい対話事前学習モデルを提案する。このモデルは自己ブートストラップフレームワークによりタスク指向の対話表現を学習する。対照的なペアとは異なり、BootTODは文脈と文脈＋応答表現を整合させ、対照的なペアの要件を排除する。BootTODはまた、人間の会話に内在する一対多の多様性をモデル化するために、複数の適切な応答ターゲットを使用します。実験の結果、BootTODは多様な下流対話タスクにおいて、強力なTODベースラインを凌駕することが示されました。

要約(オリジナル)

Pre-trained language models have been successful in many scenarios. However, their usefulness in task-oriented dialogues is limited due to the intrinsic linguistic differences between general text and task-oriented dialogues. Current task-oriented dialogue pre-training methods rely on a contrastive framework, which faces challenges such as selecting true positives and hard negatives, as well as lacking diversity. In this paper, we propose a novel dialogue pre-training model called BootTOD. It learns task-oriented dialogue representations via a self-bootstrapping framework. Unlike contrastive counterparts, BootTOD aligns context and context+response representations and dismisses the requirements of contrastive pairs. BootTOD also uses multiple appropriate response targets to model the intrinsic one-to-many diversity of human conversations. Experimental results show that BootTOD outperforms strong TOD baselines on diverse downstream dialogue tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL