An Empirical Study of Multitask Learning to Improve Open Domain Dialogue Systems

要約

タイトル：オープンドメインの対話システムの改善のためのマルチタスク学習の実証的研究

要約：
– オープンドメインの対話システムにおいて、自己回帰モデルが用いられるが、長期的な文脈を考慮することや対話全体での一貫性を保つことが困難となることがある。
– 従来の研究では、補助的なタスクの利用により、これらの問題を改善することができることが示されてきた。
– しかし、これまでの研究では、補助的なタスクの利用については、エンコーダーのみやエンコーダー/デコーダーモデルに重点が置かれていたため、デコーダーのみの自己回帰モデルにおける利用は十分に検討されていない。
– 本研究では、PersonaChatデータセットやDailyDialogデータセットでファインチューニングされた小規模および中規模のGPT-2モデルに4つの異なる補助的なタスクを追加することで、新しい補助的なタスクの導入によって、検討されたモデルの評価がわずかに向上することが示された。

要約(オリジナル)

Autoregressive models used to generate responses in open-domain dialogue systems often struggle to take long-term context into account and to maintain consistency over a dialogue. Previous research in open-domain dialogue generation has shown that the use of \emph{auxiliary tasks} can introduce inductive biases that encourage the model to improve these qualities. However, most previous research has focused on encoder-only or encoder/decoder models, while the use of auxiliary tasks in \emph{decoder-only} autoregressive models is under-explored. This paper describes an investigation where four different auxiliary tasks are added to small and medium-sized GPT-2 models fine-tuned on the PersonaChat and DailyDialog datasets. The results show that the introduction of the new auxiliary tasks leads to small but consistent improvement in evaluations of the investigated models.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI