PVGRU: Generating Diverse and Relevant Dialogue Responses via Pseudo-Variational Mechanism

要約

生成ベースのチャットボットにおけるマルチターン対話の応答生成を調査します。
RNN (リカレント ニューラル ネットワーク) に基づく既存の生成モデルは、通常、シーケンスを要約するために最後の隠れ状態を使用します。そのため、モデルは異なる対話で観察される微妙な変動を捉えることができず、構成が似ている対話間の違いを区別することができません。
この論文では、部分列の累積分布変動を集約できる再帰要約変数を GRU に導入することにより、事後知識なしの疑似変分ゲート再帰ユニット (PVGRU) コンポーネントを提案します。
PVGRU は、考案された配布の一貫性と再構築の目標によって最適化された変数を要約することで、微妙な意味の変動を認識できます。
さらに、PVGRU に基づいて疑似変分階層対話 (PVHD) モデルを構築します。
実験結果は、PVGRU が 2 つのベンチマーク データセットに対する応答の多様性と関連性を幅広く改善できることを示しています。

要約(オリジナル)

We investigate response generation for multi-turn dialogue in generative-based chatbots. Existing generative models based on RNNs (Recurrent Neural Networks) usually employ the last hidden state to summarize the sequences, which makes models unable to capture the subtle variability observed in different dialogues and cannot distinguish the differences between dialogues that are similar in composition. In this paper, we propose a Pseudo-Variational Gated Recurrent Unit (PVGRU) component without posterior knowledge through introducing a recurrent summarizing variable into the GRU, which can aggregate the accumulated distribution variations of subsequences. PVGRU can perceive the subtle semantic variability through summarizing variables that are optimized by the devised distribution consistency and reconstruction objectives. In addition, we build a Pseudo-Variational Hierarchical Dialogue (PVHD) model based on PVGRU. Experimental results demonstrate that PVGRU can broadly improve the diversity and relevance of responses on two benchmark datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google