Enhancing Performance on Seen and Unseen Dialogue Scenarios using Retrieval-Augmented End-to-End Task-Oriented System

要約

エンドツーエンドのタスク指向対話 (TOD) システムは、事前トレーニング済みモデルの高度な自然言語理解と自然言語生成機能を活用することで、有望なパフォーマンスを実現しています。
この取り組みにより、単純なキャッシュを通じて TOD システムの柔軟性が向上します。
キャッシュは、TOD システムを動的に更新し、既存の対話シナリオと未表示の対話シナリオの両方を処理する柔軟性を提供します。
この目的に向けて、まず取得モジュールを微調整して、最も関連性の高い情報エントリをキャッシュから効果的に取得します。
次に、TOD 生成中に対話履歴と取得した情報の両方を参照し、基礎付けることができるエンドツーエンドの TOD モデルをトレーニングします。
キャッシュの構築は簡単で、TOD システムのバックボーン モデルは既存の事前トレーニングされた生成モデルと互換性があります。
広範な実験により、強力なベースラインと比較して、空でないジョイント ゴールの精度が 6.7% 顕著に向上し、フレームワークの優れたパフォーマンスが実証されました。

要約(オリジナル)

End-to-end task-oriented dialogue (TOD) systems have achieved promising performance by leveraging sophisticated natural language understanding and natural language generation capabilities of pre-trained models. This work enables the TOD systems with more flexibility through a simple cache. The cache provides the flexibility to dynamically update the TOD systems and handle both existing and unseen dialogue scenarios. Towards this end, we first fine-tune a retrieval module to effectively retrieve the most relevant information entries from the cache. We then train end-to-end TOD models that can refer to and ground on both dialogue history and retrieved information during TOD generation. The cache is straightforward to construct, and the backbone models of TOD systems are compatible with existing pre-trained generative models. Extensive experiments demonstrate the superior performance of our framework, with a notable improvement in non-empty joint goal accuracy by 6.7% compared to strong baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google