UNO-DST: Leveraging Unlabelled Data in Zero-Shot Dialogue State Tracking

要約

以前のゼロショット対話状態追跡 (DST) メソッドは転移学習のみを適用し、ターゲット ドメイン内のラベルのないデータを無視しました。
このようなラベルのないデータを共同学習および自己学習法で利用することで、ゼロショット DST を少数ショット DST に変換します。
私たちの方法には、メインタスクの逆プロンプトとしてスロットタイプを生成する補助タスクが組み込まれており、共同トレーニング中にスロット値を作成します。
これら 2 つのタスク間のサイクルの一貫性により、後続の微調整のために未知のターゲット ドメインで高品質のサンプルを生成および選択できます。
このアプローチにより、ラベルの自動作成も容易になり、DST モデルのトレーニングと微調整が最適化されます。
ゼロショット シナリオの大規模言語モデルに対するこの手法の有効性を実証し、MultiWOZ のすべてのドメインで平均共同目標精度が $8\%$ 向上しました。

要約(オリジナル)

Previous zero-shot dialogue state tracking (DST) methods only apply transfer learning, but ignore unlabelled data in the target domain. We transform zero-shot DST into few-shot DST by utilising such unlabelled data via joint and self-training methods. Our method incorporates auxiliary tasks that generate slot types as inverse prompts for main tasks, creating slot values during joint training. Cycle consistency between these two tasks enables the generation and selection of quality samples in unknown target domains for subsequent fine-tuning. This approach also facilitates automatic label creation, thereby optimizing the training and fine-tuning of DST models. We demonstrate this method’s effectiveness on large language models in zero-shot scenarios, improving average joint goal accuracy by $8\%$ across all domains in MultiWOZ.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google