Topic-switch adapted Japanese Dialogue System based on PLATO-2

要約

PLATO-2 などの大規模なオープン ドメイン対話システムは、英語と中国語の両方で最先端のスコアを達成しています。
しかし、そのような対話システムが日本語でもうまく機能するかどうかを調査する研究はほとんどありません。
この作業では、ニュース、テレビの字幕、ウィキペディアのコーパスからツリー構造で 165 万 6000 の対話データを含む大規模な日本語対話データセット Dialogue-Graph を作成します。
次に、Dialogue-Graph を使用して PLATO-2 をトレーニングし、大規模な日本語対話システム PLATO-JDS を構築します。
さらに、PLATO-JDS のトピック スイッチ問題を改善するために、ユーザー入力が前のトピックと異なる場合に新しいトピックに切り替えるトピック識別子で構成されるトピック スイッチ アルゴリズムを導入します。
モデルを使用して、一貫性、有益性、エンゲージメント、人間性という 4 つの指標に関してユーザー エクスペリエンスを評価します。
その結果、我々が提案する PLATO-JDS は、人間とボットのチャット戦略による人間の評価で平均スコア 1.500 を達成し、これは最大スコアの 2.000 に近く、PLATO-2 の日本語での高品質な対話生成能力を示唆しています。
.
さらに、提案されたトピック切り替えアルゴリズムは、平均スコア 1.767 を達成し、PLATO-JDS を 0.267 上回っており、システムのユーザー エクスペリエンスを改善する効果を示しています。

要約(オリジナル)

Large-scale open-domain dialogue systems such as PLATO-2 have achieved state-of-the-art scores in both English and Chinese. However, little work explores whether such dialogue systems also work well in the Japanese language. In this work, we create a large-scale Japanese dialogue dataset, Dialogue-Graph, which contains 1.656 million dialogue data in a tree structure from News, TV subtitles, and Wikipedia corpus. Then, we train PLATO-2 using Dialogue-Graph to build a large-scale Japanese dialogue system, PLATO-JDS. In addition, to improve the PLATO-JDS in the topic switch issue, we introduce a topic-switch algorithm composed of a topic discriminator to switch to a new topic when user input differs from the previous topic. We evaluate the user experience by using our model with respect to four metrics, namely, coherence, informativeness, engagingness, and humanness. As a result, our proposed PLATO-JDS achieves an average score of 1.500 for the human evaluation with human-bot chat strategy, which is close to the maximum score of 2.000 and suggests the high-quality dialogue generation capability of PLATO-2 in Japanese. Furthermore, our proposed topic-switch algorithm achieves an average score of 1.767 and outperforms PLATO-JDS by 0.267, indicating its effectiveness in improving the user experience of our system.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google