Pre-training Multi-party Dialogue Models with Latent Discourse Inference

要約

複数の当事者による対話は、複数の対話者が関与し、応答と情報の流れが織り交ぜられるため、1 対 1 の 2 者間の対話よりもモデルが理解するのが困難です。
これらの障害を乗り越える効果的な方法は、多者間の対話の談話構造、つまり各発話が誰に応答しているかを理解するモデルを事前にトレーニングすることです。
しかし、複数当事者の対話コーパスには明示的に注釈が付けられた談話ラベルが欠如しているため、以前の研究では、ラベルのない複数当事者の会話データを無駄に脇に置いて、事前トレーニングプロセスをスケールアップできませんでした。
ラベルなしデータを十分に活用するために、私たちは談話構造を潜在変数として扱い、それらを共同推論し、教師なし潜在変数推論手法によって談話認識モデルを事前トレーニングすることを提案します。
複数の下流タスクの実験では、事前トレーニングされたモデルが強力なベースラインを大幅に上回り、最先端 (SOTA) の結果を達成することが示され、私たちの手法の有効性が正当化されます。
このペーパーの正式な実装は、https://github.com/EricLee8/MPD_EMVI で入手できます。

要約(オリジナル)

Multi-party dialogues are more difficult for models to understand than one-to-one two-party dialogues, since they involve multiple interlocutors, resulting in interweaving reply-to relations and information flows. To step over these obstacles, an effective way is to pre-train a model that understands the discourse structure of multi-party dialogues, namely, to whom each utterance is replying. However, due to the lack of explicitly annotated discourse labels in multi-party dialogue corpora, previous works fail to scale up the pre-training process by putting aside the unlabeled multi-party conversational data for nothing. To fully utilize the unlabeled data, we propose to treat the discourse structures as latent variables, then jointly infer them and pre-train the discourse-aware model by unsupervised latent variable inference methods. Experiments on multiple downstream tasks show that our pre-trained model outperforms strong baselines by large margins and achieves state-of-the-art (SOTA) results, justifying the effectiveness of our method. The official implementation of this paper is available at https://github.com/EricLee8/MPD_EMVI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google