State Value Generation with Prompt Learning and Self-Training for Low-Resource Dialogue State Tracking

要約

最近、低リソースの対話状態追跡 (DST) がますます注目を集めています。
最初に状態値を取得し、次に値に基づいてスロット タイプを生成することで、このタスクは大幅に進歩しました。
ただし、状態値の取得はまだ研究が進んでいない問題です。
既存の抽出ベースのアプローチでは、コンテキストの理解を必要とする値を取得できず、一般化もできません。
これらの問題に対処するために、DST を状態値生成とドメイン スロット生成に分解する、新しい状態値生成ベースのフレームワーク (SVAG) を提案します。
具体的には、状態値を生成し、自己学習を使用して状態値の生成をさらに改善することを提案します。
さらに、自己学習中の擬似ラベル付きデータ選択の不完全な生成と誤った生成を検出することを目的とした推定器を設計します。
MultiWOZ 2.1 データセットの実験結果は、パラメータが 10 億未満しかない私たちの手法が、1,000 億未満のモデルに限定した場合、5%、10%、25% のデータ比率設定の下で最先端のパフォーマンスを達成することを示しています。
パラメーター。
1,000 億を超えるパラメータを持つモデルと比較しても、SVAG は依然として競争力のある結果を達成しています。

要約(オリジナル)

Recently, low-resource dialogue state tracking (DST) has received increasing attention. First obtaining state values then based on values to generate slot types has made great progress in this task. However, obtaining state values is still an under-studied problem. Existing extraction-based approaches cannot capture values that require the understanding of context and are not generalizable either. To address these issues, we propose a novel State VAlue Generation based framework (SVAG), decomposing DST into state value generation and domain slot generation. Specifically, we propose to generate state values and use self-training to further improve state value generation. Moreover, we design an estimator aiming at detecting incomplete generation and incorrect generation for pseudo-labeled data selection during self-training. Experimental results on the MultiWOZ 2.1 dataset show that our method which has only less than 1 billion parameters achieves state-of-the-art performance under the data ratio settings of 5%, 10%, and 25% when limited to models under 100 billion parameters. Compared to models with more than 100 billion parameters, SVAG still reaches competitive results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google