OmniDialog: An Omnipotent Pre-training Model for Task-Oriented Dialogue System

要約

事前トレーニングされた会話モデル (PCM) は、タスク指向対話 (TOD) システムにおいて顕著な結果を実証しました。
多くの PCM は、主に対話状態追跡などの対話管理タスク、応答生成などの対話生成タスク、またはその両方に焦点を当てています。
しかし、既存の PCM では、対話による質問応答や要約タスクなどの対話理解タスクはほとんど考慮されていません。
これらのタスクにより、PCM はさまざまな角度から対話のコンテキストを収集できます。
この観察から当然、次のような疑問が生じます。PCM が対話の管理、生成、および理解のタスクについて事前にトレーニングされている場合、下流の対話タスクのパフォーマンスは向上できるでしょうか?
これを調査するために、私たちは全能対話事前トレーニング モデル (OmniDialog) を提案しました。
マルチタスク学習によってこれら 3 つの対話タスクをモノリシック フレームワークに統合し、タスク間のコミュニケーションを促進します。
OmniDialog の事前トレーニング コーパスは $\mathbf{7}$ の対話に焦点を当てたタスクに及び、$\mathbf{15}$ データセットから抽出され、$\mathbf{3.2}$ 百万を超える対話発話が含まれています。
私たちの知る限り、OmniDialog は、対話管理、生成、理解の各領域にわたって事前トレーニングされた先駆的な PCM です。
私たちは、対話の要約、エンドツーエンドの対話モデリング、対話状態の追跡、意図の分類という 4 つのタスクにわたってそのパフォーマンスを評価しました。
この結果は、ドメイン転送学習、低リソース、および完全なデータセットのシナリオにおけるその有効性を強調しています。
さらに、OmniDialog の強みと潜在的な落とし穴を微妙に理解するために、対話中心のタスク向けのきめの細かい分析フレームワークを設計しました。
実験結果によると、OmniDialog は長い対話や長い応答などのハードなサンプルに優れています。

要約(オリジナル)

Pre-trained conversation models (PCMs) have demonstrated remarkable results in task-oriented dialogue (TOD) systems. Many PCMs focus predominantly on dialogue management tasks like dialogue state tracking, dialogue generation tasks like response generation, or both. However, the existing PCMs seldom consider dialogue comprehension tasks, such as dialogue question answering and summarization tasks. These tasks allow PCMs to glean dialogue context from various angles. This observation naturally raises the question: Can the performance of downstream dialogue tasks be enhanced if a PCM is pre-trained on dialogue management, generation, and comprehension tasks? To investigate this, we proposed an Omnipotent Dialogue pre-training model (OmniDialog). It unifies these three dialogue tasks into a monolithic framework by multi-task learning, fostering inter-task communication. The pre-training corpus of OmniDialog spans $\mathbf{7}$ dialogue-focused tasks, drawing from $\mathbf{15}$ datasets and encompassing over $\mathbf{3.2}$ million dialogue utterances. To our knowledge, OmniDialog is a pioneering PCM pre-trained across dialogue management, generation, and comprehension domains. We evaluated its performance across four tasks: dialogue summarization, end-to-end dialogue modeling, dialogue state tracking, and intent classification. The results underscore its efficacy in domain transfer learning, low-resource, and full-dataset scenarios. Furthermore, to glean a nuanced understanding of OmniDialog’s strengths and potential pitfalls, we designed a fine-grained analysis framework for dialogue-centric tasks. Experimental results show that the OmniDialog is good at hard samples, such as long dialogues and lengthy responses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google