Zero-Shot Generalizable End-to-End Task-Oriented Dialog System using Context Summarization and Domain Schema

要約

タスク指向の対話システムは、直感的で表現力豊かな自然言語による対話を促進することで、ユーザーが目標を達成できるようにします。
タスク指向の対話システムにおける最先端のアプローチは、条件付きシーケンス生成タスクとして問題を定式化し、教師付き設定で事前にトレーニングされた因果言語モデルを微調整します。
これには、新しいドメインまたはタスクごとにラベル付けされたトレーニング データが必要であり、そのようなデータの取得は非常に面倒で費用がかかるため、システムを幅広いドメインにスケーリングする際のボトルネックになります。
この課題を克服するために、ドメインスキーマを活用して目に見えないドメインへの堅牢な一般化を可能にし、ダイアログ履歴の効果的な要約を活用する、新しいゼロショット一般化可能なエンドツーエンドのタスク指向ダイアログシステム ZS-ToD を導入します。
バックボーン モデルとして GPT-2 を採用し、2 段階のトレーニング プロセスを導入します。最初の段階の目標はダイアログ データの一般的な構造を学習することであり、2 番目の段階は応答生成と中間出力を最適化することです。
ダイアログの状態とシステム アクション。
特定のドメインで特定の意図を満たし、タスク固有の会話パターンを記憶するように訓練された最先端のシステムとは対照的に、ZS-ToD は、ドメイン スキーマを介してドメイン セマンティクスを理解し、目に見えないものに一般化することによって、一般的なタスク完了スキルを学習します。
ドメインをシームレスに。
最大 20 の一意のドメインにまたがる SGD および SGD-X データセットに対して広範な実験的評価を実施し、ZS-ToD は主要なメトリックで最先端のシステムよりも優れており、共同目標の精度が +17% 向上し、+
5 お知らせします。
さらに、提案されたコンポーネントとトレーニングメカニズムの有効性を実証するために、詳細なアブレーション研究を提示します

要約(オリジナル)

Task-oriented dialog systems empower users to accomplish their goals by facilitating intuitive and expressive natural language interactions. State-of-the-art approaches in task-oriented dialog systems formulate the problem as a conditional sequence generation task and fine-tune pre-trained causal language models in the supervised setting. This requires labeled training data for each new domain or task, and acquiring such data is prohibitively laborious and expensive, thus making it a bottleneck for scaling systems to a wide range of domains. To overcome this challenge, we introduce a novel Zero-Shot generalizable end-to-end Task-oriented Dialog system, ZS-ToD, that leverages domain schemas to allow for robust generalization to unseen domains and exploits effective summarization of the dialog history. We employ GPT-2 as a backbone model and introduce a two-step training process where the goal of the first step is to learn the general structure of the dialog data and the second step optimizes the response generation as well as intermediate outputs, such as dialog state and system actions. As opposed to state-of-the-art systems that are trained to fulfill certain intents in the given domains and memorize task-specific conversational patterns, ZS-ToD learns generic task-completion skills by comprehending domain semantics via domain schemas and generalizing to unseen domains seamlessly. We conduct an extensive experimental evaluation on SGD and SGD-X datasets that span up to 20 unique domains and ZS-ToD outperforms state-of-the-art systems on key metrics, with an improvement of +17% on joint goal accuracy and +5 on inform. Additionally, we present a detailed ablation study to demonstrate the effectiveness of the proposed components and training mechanism

arxiv情報

提供元, 利用サービス

arxiv.jp, Google