Bilevel Scheduled Sampling for Dialogue Generation

要約

露出バイアスは、多くの自然言語処理タスク、特にダイアログ生成において共通の課題を引き起こします。
この問題に対応して、研究者らはさまざまな技術を考案しており、その中には計画的サンプリングが暴露バイアスを軽減する効果的な方法であることが証明されています。
しかし、既存の最先端のスケジュールされたサンプリング方法では、しきい値切り捨てサンプリングでは現在のサンプリング単語の品質のみが考慮されており、文レベルの情報の重要性が見落とされており、しきい値切り捨ての方法についてはさらなる議論が必要です。
この論文では、文レベルの情報を考慮し、それを単語レベルの品質と組み込む、2 レベルのスケジュールされたサンプリング モデルを提案します。
サンプリングの多様性を強化し、モデルの適応性を向上させるために、文レベルと単語レベルの情報を組み合わせた結果を適切な範囲にマッピングするスムーズ関数を提案し、しきい値切り捨ての代わりにマッピングされた値に基づく確率的サンプリングを採用します。
DailyDialog および PersonaChat データセットに対して行われた実験は、露出バイアスの問題を大幅に軽減し、最先端のスケジュールされたサンプリング方法を上回る、私たちが提案した方法の有効性を示しています。

要約(オリジナル)

Exposure bias poses a common challenge in numerous natural language processing tasks, particularly in the dialog generation. In response to this issue, researchers have devised various techniques, among which scheduled sampling has proven to be an effective method for mitigating exposure bias. However, the existing state-of-the-art scheduled sampling methods solely consider the current sampling words’ quality for threshold truncation sampling, which overlooks the importance of sentence-level information and the method of threshold truncation warrants further discussion. In this paper, we propose a bilevel scheduled sampling model that takes the sentence-level information into account and incorporates it with word-level quality. To enhance sampling diversity and improve the model’s adaptability, we propose a smooth function that maps the combined result of sentence-level and word-level information to an appropriate range, and employ probabilistic sampling based on the mapped values instead of threshold truncation. Experiments conducted on the DailyDialog and PersonaChat datasets demonstrate the effectiveness of our proposed methods, which significantly alleviate the exposure bias problem and outperform state-of-the-art scheduled sampling methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google