DialoGPS: Dialogue Path Sampling in Continuous Semantic Space for Data Augmentation in Multi-Turn Conversations

要約

オープンドメインの対話生成タスクでは、ほとんどのデータセットのコンテキストと応答は 1 対 1 でマッピングされ、重要な多対多の特性に違反します。つまり、コンテキストはさまざまな応答を導き、応答は複数のコンテキストに応答します。
このようなパターンがないと、モデルは一般化が不十分となり、安全に応答することを好みます。
1 対多の観点からのマルチターン設定、または多対多の観点からの多くの試みが行われてきましたが、シングルターン設定に限定されています。
多対多のオーグメント マルチターン ダイアログの主な課題は、各ターンを意味上の類似性で個別に置き換えると、脆弱なコンテキストの一貫性が損なわれることです。
この論文では、連続意味空間における DialoGue Path Sampling (DialoGPS) 手法を提案します。これは、マルチターン対話のための最初の多対多拡張手法です。
具体的には、ダイアログを拡張ブラウンニアン ブリッジ (特別なガウス プロセス) にマッピングします。
潜在変数をサンプリングして、連続空間に一貫した対話パスを形成します。
ダイアログ パスは、新しいマルチターン ダイアログに対応し、拡張トレーニング データとして使用されます。
DialoGPS の効果を自動評価と人間による評価の両方で示します。

要約(オリジナル)

In open-domain dialogue generation tasks, contexts and responses in most datasets are one-to-one mapped, violating an important many-to-many characteristic: a context leads to various responses, and a response answers multiple contexts. Without such patterns, models poorly generalize and prefer responding safely. Many attempts have been made in either multi-turn settings from a one-to-many perspective or in a many-to-many perspective but limited to single-turn settings. The major challenge to many-to-many augment multi-turn dialogues is that discretely replacing each turn with semantic similarity breaks fragile context coherence. In this paper, we propose DialoGue Path Sampling (DialoGPS) method in continuous semantic space, the first many-to-many augmentation method for multi-turn dialogues. Specifically, we map a dialogue to our extended Brownian Bridge, a special Gaussian process. We sample latent variables to form coherent dialogue paths in the continuous space. A dialogue path corresponds to a new multi-turn dialogue and is used as augmented training data. We show the effect of DialoGPS with both automatic and human evaluation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google