Schema Augmentation for Zero-Shot Domain Adaptation in Dialogue State Tracking

要約

ダイアログ状態追跡（DST）のゼロショットドメイン適応は、タスク指向のダイアログ（TOD）システムの困難な問題のままです。ここでは、トレーニング時に見えないドメインをターゲットにするためにモデルを一般化する必要があります。
ゼロショットドメインの適応のための現在の大規模な言語モデルアプローチは、ターゲットドメインに関する知識を導入するよう促すことに依存しています。
ただし、それらの有効性は、迅速なエンジニアリングと、基礎となる言語モデルのゼロショット能力に大きく依存します。
この作業では、微調整を通じて言語モデルのゼロショットドメイン適応を改善する新しいデータ増強アプローチ、スキーマ増強を考案します。
スキーマ拡張は、プロンプトで提供されるスキーマ内にスロット名のバリエーションを導入することにより、一般化を強化するシンプルだが効果的な手法です。
マルチウォズとスポークスウォスの実験により、提案されたアプローチがベースラインよりも大幅に改善されたことが示されました。これは、すべてのドメインで平等または優れたパフォーマンスを維持しながら、目に見えないドメインよりも2倍の精度の増加を達成するいくつかの実験であります。

要約(オリジナル)

Zero-shot domain adaptation for dialogue state tracking (DST) remains a challenging problem in task-oriented dialogue (TOD) systems, where models must generalize to target domains unseen at training time. Current large language model approaches for zero-shot domain adaptation rely on prompting to introduce knowledge pertaining to the target domains. However, their efficacy strongly depends on prompt engineering, as well as the zero-shot ability of the underlying language model. In this work, we devise a novel data augmentation approach, Schema Augmentation, that improves the zero-shot domain adaptation of language models through fine-tuning. Schema Augmentation is a simple but effective technique that enhances generalization by introducing variations of slot names within the schema provided in the prompt. Experiments on MultiWOZ and SpokenWOZ showed that the proposed approach resulted in a substantial improvement over the baseline, in some experiments achieving over a twofold accuracy gain over unseen domains while maintaining equal or superior performance over all domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google