Causal Document-Grounded Dialogue Pre-training

要約

文書に基づいた対話 (DocGD) の目標は、対話の文脈に従って裏付けとなる文書の証拠に基づいて応答を生成することです。
このプロセスには、因果関係がある 4 つの変数が含まれます。
最近、タスク固有の事前トレーニングにより、多くの下流タスクのパフォーマンスが大幅に向上しました。
しかし、既存の DocGD メソッドは、因果関係を明示的に捉える特別に調整された事前トレーニング アプローチを持たず、一般的な事前トレーニングされた言語モデルに依存し続けています。
この問題に取り組むために、私たちは百万レベルの DocGD 事前トレーニング コーパスを構築するための因果的に完全なデータセット構築戦略を初めて提示しました。
因果関係をより良く捉えるために、変数に因果的な摂動を導入し、全体的な因果効果を最適化する、因果的に摂動された事前トレーニング戦略をさらに提案します。
3 つのベンチマーク データセットでの実験では、因果的事前トレーニングが、完全監視、低リソース、少数ショット、ゼロショットの設定の下で大幅かつ一貫した改善を達成することを示しています。

要約(オリジナル)

The goal of document-grounded dialogue (DocGD) is to generate a response by grounding the evidence in a supporting document in accordance with the dialogue context. This process involves four variables that are causally connected. Recently, task-specific pre-training has greatly boosted performances on many downstream tasks. Existing DocGD methods, however, continue to rely on general pre-trained language models without a specifically tailored pre-training approach that explicitly captures the causal relationships. To tackle this issue, we are the first to present a causally-complete dataset construction strategy for building million-level DocGD pre-training corpora. To better capture causality, we further propose a causally-perturbed pre-training strategy, which introduces causal perturbations on the variables and optimizes the overall causal effect. Experiments on three benchmark datasets demonstrate that our causal pre-training achieves considerable and consistent improvements under fully-supervised, low-resource, few-shot, and zero-shot settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google