Promoting Open-domain Dialogue Generation through Learning Pattern Information between Contexts and Responses

要約

最近、ディープ ニューラル ネットワークを利用してオープンドメイン対話モデルを構築することが話題になっています。
ただし、これらのモデルによって生成される応答には、応答が文脈化されていないなどの多くの問題があり、情報コンテンツが欠如した一般的な応答が生成される傾向があり、ユーザー エクスペリエンスに重大な損害を与えます。
したがって、多くの研究では、生成される応答をより鮮明で有益なものにするために、対話モデルにより多くの情報を導入しようとしています。
これらとは異なり、この論文では、トレーニング サンプル内のコンテキストと応答の間の暗黙的なパターン情報を学習することで、生成される応答の品質を向上させます。
この論文では、まず、事前トレーニングされた言語モデル (GPT-2) に基づいてオープンドメイン対話モデルを構築します。
そして、事前トレーニングされたモデルに対して、改善されたスケジュールされたサンプリング方法が提案されます。これにより、露出バイアスの問題を回避しながら、トレーニング段階での応答生成をガイドするために応答を使用できます。
さらに重要なのは、生成される応答がより多様で人間の応答に近づくように、コンテキストと応答の間の暗黙的なパターン情報をマイニングするための応答認識メカニズムを設計することです。
最後に、ペルソナチャットとデイリーダイアログのデータセットで提案されたモデル (RAD) を評価します。
そして実験結果は、私たちのモデルがほとんどの自動および手動メトリクスでベースラインを上回るパフォーマンスを示していることを示しています。

要約(オリジナル)

Recently, utilizing deep neural networks to build the opendomain dialogue models has become a hot topic. However, the responses generated by these models suffer from many problems such as responses not being contextualized and tend to generate generic responses that lack information content, damaging the user’s experience seriously. Therefore, many studies try introducing more information into the dialogue models to make the generated responses more vivid and informative. Unlike them, this paper improves the quality of generated responses by learning the implicit pattern information between contexts and responses in the training samples. In this paper, we first build an open-domain dialogue model based on the pre-trained language model (i.e., GPT-2). And then, an improved scheduled sampling method is proposed for pre-trained models, by which the responses can be used to guide the response generation in the training phase while avoiding the exposure bias problem. More importantly, we design a response-aware mechanism for mining the implicit pattern information between contexts and responses so that the generated replies are more diverse and approximate to human replies. Finally, we evaluate the proposed model (RAD) on the Persona-Chat and DailyDialog datasets; and the experimental results show that our model outperforms the baselines on most automatic and manual metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google