More Robust Schema-Guided Dialogue State Tracking via Tree-Based Paraphrase Ranking

要約

スキーマに基づくパラダイムは、静的オントロジーを使用したタスク指向対話 (TOD) エージェントの構築に固有のスケーラビリティの問題を克服します。
エージェントは、対話コンテキストだけで操作する代わりに、タスク関連の自然言語記述を含む階層スキーマにアクセスできます。
微調整された言語モデルは、スキーマに基づく対話状態追跡 (DST) に優れていますが、スキーマの記述スタイルには敏感です。
DST モデルの堅牢性を向上させる方法を探ります。
ツリーベースのランキングを使用して語彙の多様性と意味の忠実性を共同で最適化する合成スキーマを生成するためのフレームワークを提案します。
SGD-X ベンチマークでの平均共同目標精度 (JGA) とスキーマ感度 (SS) の顕著な改善によって示されるように、フレームワークによって生成されたプロンプトでトレーニング データを増強すると、強力なベースラインの一般化が改善されます。

要約(オリジナル)

The schema-guided paradigm overcomes scalability issues inherent in building task-oriented dialogue (TOD) agents with static ontologies. Instead of operating on dialogue context alone, agents have access to hierarchical schemas containing task-relevant natural language descriptions. Fine-tuned language models excel at schema-guided dialogue state tracking (DST) but are sensitive to the writing style of the schemas. We explore methods for improving the robustness of DST models. We propose a framework for generating synthetic schemas which uses tree-based ranking to jointly optimise lexical diversity and semantic faithfulness. The generalisation of strong baselines is improved when augmenting their training data with prompts generated by our framework, as demonstrated by marked improvements in average joint goal accuracy (JGA) and schema sensitivity (SS) on the SGD-X benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google