A Conditional Generative Chatbot using Transformer Model

要約

チャットボットは、人間のユーザーと機械の間のコミュニケーション ツールとして機能し、人間の入力に基づいて適切な回答を実現します。
最近のアプローチでは、自然言語処理と逐次モデルの組み合わせを使用して、生成型チャットボットが構築されています。
これらのモデルの主な課題は、逐次的な性質であるため、結果の精度が低下することです。
この課題に取り組むために、この論文では、条件付き Wasserstein Generative Adversarial Networks とチャットボットでの回答生成のためのトランスフォーマー モデルを使用した新しいアーキテクチャを提案します。
提案されたモデルのジェネレーターは、答えを生成するための完全なトランスフォーマー モデルで構成されていますが、ディスクリミネーターには、トランスフォーマー モデルのエンコーダー部分のみが含まれ、その後に分類器が続きます。
私たちの知る限り、生成モデルと弁別モデルの両方に埋め込みトランスフォーマーを使用して生成チャットボットが提案されたのはこれが初めてです。
トランスフォーマー モデルの並列計算に基づいて、コーネル映画ダイアログ コーパスおよび雑談データセットで提案されたモデルの結果は、さまざまな評価基準を使用した最先端の代替モデルと比較して、提案されたモデルの優位性を確認します。
。

要約(オリジナル)

A Chatbot serves as a communication tool between a human user and a machine to achieve an appropriate answer based on the human input. In more recent approaches, a combination of Natural Language Processing and sequential models are used to build a generative Chatbot. The main challenge of these models is their sequential nature, which leads to less accurate results. To tackle this challenge, in this paper, a novel architecture is proposed using conditional Wasserstein Generative Adversarial Networks and a transformer model for answer generation in Chatbots. While the generator of the proposed model consists of a full transformer model to generate an answer, the discriminator includes only the encoder part of a transformer model followed by a classifier. To the best of our knowledge, this is the first time that a generative Chatbot is proposed using the embedded transformer in both generator and discriminator models. Relying on the parallel computing of the transformer model, the results of the proposed model on the Cornell Movie-Dialog corpus and the Chit-Chat datasets confirm the superiority of the proposed model compared to state-of-the-art alternatives using different evaluation metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google