Multi-turn Response Selection using Dialogue Dependency Relations

要約

マルチターン応答選択は、対話エージェントを開発するために設計されたタスクです。
事前にトレーニングされた言語モデルを使用すると、このタスクのパフォーマンスが大幅に向上します。
ただし、これらのモデルは対話履歴内のターンを入力として単に連結するだけであり、ターン間の依存関係はほとんど無視されます。
本稿では、対話履歴を依存関係に基づいてスレッド化する対話抽出アルゴリズムを提案する。
各スレッドは、自己完結型のサブダイアログとみなすことができます。
また、事前トレーニングされたトランスフォーマーによってスレッドと候補をコンパクトな表現にエンコードし、最終的にアテンション層を通じてマッチングスコアを取得するスレッドエンコーダーモデルも提案します。
実験では、依存関係が対話のコンテキストの理解に役立つことが示されており、私たちのモデルは DSTC7 と DSTC8* の両方で最先端のベースラインを上回り、UbuntuV2 で競合する結果をもたらしました。

要約(オリジナル)

Multi-turn response selection is a task designed for developing dialogue agents. The performance on this task has a remarkable improvement with pre-trained language models. However, these models simply concatenate the turns in dialogue history as the input and largely ignore the dependencies between the turns. In this paper, we propose a dialogue extraction algorithm to transform a dialogue history into threads based on their dependency relations. Each thread can be regarded as a self-contained sub-dialogue. We also propose Thread-Encoder model to encode threads and candidates into compact representations by pre-trained Transformers and finally get the matching score through an attention layer. The experiments show that dependency relations are helpful for dialogue context understanding, and our model outperforms the state-of-the-art baselines on both DSTC7 and DSTC8*, with competitive results on UbuntuV2.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google