Contextual Knowledge Learning For Dialogue Generation

要約

会話のコンテキストと知識を対話生成モデルに組み込むことは、生成される応答の品質を向上させるために不可欠でした。
以前の対話交換からの発話で構成されるコンテキストは、応答生成のコンテンツのソースとして、また外部知識を選択する手段として使用されます。
ただし、無関係なコンテンツの導入を避けるためには、コンテキストと知識のきめ細かいスコアリングを可能にすることが重要です。
この論文では、モデルトレーニングの不可欠な部分としてコンテキストと知識の重み付けに対する新しいアプローチを紹介します。
コンテキストと知識の潜在ベクトルをそれぞれ含むコンテキスト知識学習 (CKL) プロセスを通じてモデルのトレーニングをガイドします。
CKL 潜在ベクトルは、弱い監視を通じてコン​​テキスト、知識、応答の間の関係を捕捉し、トレーニング プロセス中にコンテキスト発話と知識センテンスの異なる重み付けを可能にします。
2 つの標準データセットと人間による評価を用いた実験により、CKL が 6 つの強力なベースライン モデルのパフォーマンスと比較して大幅な向上をもたらし、トレーニング セットのサイズの縮小に関して堅牢性を示すことが実証されました。

要約(オリジナル)

Incorporating conversational context and knowledge into dialogue generation models has been essential for improving the quality of the generated responses. The context, comprising utterances from previous dialogue exchanges, is used as a source of content for response generation and as a means of selecting external knowledge. However, to avoid introducing irrelevant content, it is key to enable fine-grained scoring of context and knowledge. In this paper, we present a novel approach to context and knowledge weighting as an integral part of model training. We guide the model training through a Contextual Knowledge Learning (CKL) process which involves Latent Vectors for context and knowledge, respectively. CKL Latent Vectors capture the relationship between context, knowledge, and responses through weak supervision and enable differential weighting of context utterances and knowledge sentences during the training process. Experiments with two standard datasets and human evaluation demonstrate that CKL leads to a significant improvement compared with the performance of six strong baseline models and shows robustness with regard to reduced sizes of training sets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google