PVGRU: Generating Diverse and Relevant Dialogue Responses via Pseudo-Variational Mechanism

要約

タイトル：Pseudo-Variational Mechanismを介した多様で関連性の高い対話応答の生成に向けたPVGRU

要約：
– 本研究は、発生的チャットボットにおけるマルチターン対話の応答生成を調査する。
– 従来のRNN（再帰型ニューラルネットワーク）に基づく生成モデルは、シーケンスを要約するために最後の隠れ状態を使用するため、モデルが異なる対話で観察される微妙な変動を捉えることができず、組成が類似している対話間の差異を区別することができません。
– 本論文では、更に発展させた疑似変分ゲート再帰型ニューラルネットワーク（PVGRU）を提案することにより、事後知識なしで変動の蓄積された分布変化を集計できるようにする。
– PVGRUは、デバイスされた分布の一貫性と再構成目的によって最適化された要約変数を導入することで、微妙な意味的変動を知覚できる。
– さらに、PVGRUに基づく疑似変分階層対話（PVHD）モデルを構築する。
– 実験結果は、PVGRUが2つのベンチマークデータセット上で応答の多様性と関連性を大幅に向上させることを示している。

要約(オリジナル)

We investigate response generation for multi-turn dialogue in generative-based chatbots. Existing generative models based on RNNs (Recurrent Neural Networks) usually employ the last hidden state to summarize the sequences, which makes models unable to capture the subtle variability observed in different dialogues and cannot distinguish the differences between dialogues that are similar in composition. In this paper, we propose a Pseudo-Variational Gated Recurrent Unit (PVGRU) component without posterior knowledge through introducing a recurrent summarizing variable into the GRU, which can aggregate the accumulated distribution variations of subsequences. PVGRU can perceive the subtle semantic variability through summarizing variables that are optimized by the devised distribution consistency and reconstruction objectives. In addition, we build a Pseudo-Variational Hierarchical Dialogue (PVHD) model based on PVGRU. Experimental results demonstrate that PVGRU can broadly improve the diversity and relevance of responses on two benchmark datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI