CTRLStruct: Dialogue Structure Learning for Open-Domain Response Generation

要約

対話生成には対話構造の発見が不可欠である．
適切に構造化されたトピック フローは、背景情報を活用し、将来のトピックを予測して、制御可能で説明可能な応答を生成するのに役立ちます。
ただし、以前のほとんどの研究は、より複雑で挑戦的なオープンドメイン対話以外のタスク指向対話での対話構造学習に焦点を当てていました。
この論文では、対話構造学習のための新しいフレームワークCTRLStructを提示して、トピックレベルの対話クラスターと、ラベルのない情報によるそれらの遷移を効果的に調査します。
正確には、双方向トランスフォーマーによってエンコードされた対話発話は、表現を改善するために特別に設計された対照的な学習タスクを通じてさらにトレーニングされます。
次に、発話レベルの表現にクラスタリングを実行し、対話構造グラフの頂点と見なすことができるトピックレベルのクラスターを形成します。
頂点間の遷移確率を示すグラフのエッジは、データセットのエキスパートの動作を模倣して計算されます。
最後に、対話構造グラフを対話モデルに統合して、制御された応答生成を実行します。
2 つの一般的なオープン ドメインの対話データセットでの実験では、いくつかの優れた対話モデルと比較して、モデルがより首尾一貫した応答を生成できること、および対話発話表現におけるいくつかの典型的な文埋め込み方法よりも優れていることが示されています。
コードは GitHub で入手できます。

要約(オリジナル)

Dialogue structure discovery is essential in dialogue generation. Well-structured topic flow can leverage background information and predict future topics to help generate controllable and explainable responses. However, most previous work focused on dialogue structure learning in task-oriented dialogue other than open-domain dialogue which is more complicated and challenging. In this paper, we present a new framework CTRLStruct for dialogue structure learning to effectively explore topic-level dialogue clusters as well as their transitions with unlabelled information. Precisely, dialogue utterances encoded by bi-directional Transformer are further trained through a special designed contrastive learning task to improve representation. Then we perform clustering to utterance-level representations and form topic-level clusters that can be considered as vertices in dialogue structure graph. The edges in the graph indicating transition probability between vertices are calculated by mimicking expert behavior in datasets. Finally, dialogue structure graph is integrated into dialogue model to perform controlled response generation. Experiments on two popular open-domain dialogue datasets show our model can generate more coherent responses compared to some excellent dialogue models, as well as outperform some typical sentence embedding methods in dialogue utterance representation. Code is available in GitHub.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google