Prompt Pool based Class-Incremental Continual Learning for Dialog State Tracking

要約

対話システムにおける対話状態追跡 (DST) には、新しい機能に対するユーザーの要求が頻繁に発生するため、継続的な学習が非常に重要です。
ただし、DST の既存の継続的学習方法のほとんどは、テスト中にタスク ID を必要とし、これは現実のアプリケーションでは厳しい制限となります。
このペーパーでは、クラス増分シナリオ (つまり、テストではタスクのアイデンティティが不明) における DST の継続的な学習に取り組むことを目的としています。
ダイアログ システムで良好に機能する最近出現したプロンプト チューニング手法に触発され、プロンプト プール手法を使用することを提案します。プロンプト プール手法では、キーと値のペアのプロンプトのプールを維持し、ダイアログ履歴とダイアログ ボックス間の距離に応じてプールからプロンプトを選択します。
プロンプトキー。
提案された方法は、テスト中にタスクを自動的に識別し、適切なプロンプトを選択できます。
私たちは、スキーマガイド付きダイアログ データセット (SGD) と、現実世界のダイアログ アプリケーションから収集された別のデータセットで実験を実施します。
実験結果は、プロンプトプール法がベースラインよりもはるかに高い共同目標精度を達成することを示しています。
リハーサルバッファーと組み合わせると、モデルのパフォーマンスをさらに向上させることができます。

要約(オリジナル)

Continual learning is crucial for dialog state tracking (DST) in dialog systems, since requirements from users for new functionalities are often encountered. However, most of existing continual learning methods for DST require task identities during testing, which is a severe limit in real-world applications. In this paper, we aim to address continual learning of DST in the class-incremental scenario (namely the task identity is unknown in testing). Inspired by the recently emerging prompt tuning method that performs well on dialog systems, we propose to use the prompt pool method, where we maintain a pool of key-value paired prompts and select prompts from the pool according to the distance between the dialog history and the prompt keys. The proposed method can automatically identify tasks and select appropriate prompts during testing. We conduct experiments on Schema-Guided Dialog dataset (SGD) and another dataset collected from a real-world dialog application. Experiment results show that the prompt pool method achieves much higher joint goal accuracy than the baseline. After combining with a rehearsal buffer, the model performance can be further improved.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google