A Zero-Shot Open-Vocabulary Pipeline for Dialogue Understanding

要約

Dialogue State Tracking (DST) は、ユーザーのニーズを理解し、タスク指向のダイアログで適切なシステムアクションを実行するために重要です。
既存の DST 手法の大部分は、事前定義されたオントロジー内で動作し、ゴールド ドメイン ラベルの可用性を前提として設計されており、新しいスロット値に適応するのに苦労しています。
大規模言語モデル (LLM) ベースのシステムは、有望なゼロショット DST パフォーマンスを示しますが、大規模な計算リソースを必要とするか、完全にトレーニングされた既存のシステムを下回るパフォーマンスを示し、実用性が制限されます。
これらの制限に対処するために、ドメイン分類と DST を単一のパイプラインに統合する、ゼロショットのオープン語彙システムを提案します。
私たちのアプローチには、能力の低いモデルに対する質問応答タスクとして DST を再定式化することと、より適応性の高いモデルに対して自己調整プロンプトを採用することが含まれます。
私たちのシステムは、オントロジーで定義された固定スロット値に依存せず、システムが動的に適応できるようにします。
私たちのアプローチを既存の SOTA と比較し、Multi-WOZ 2.1 などのデータセットに対する以前の方法よりも最大 20% 優れた共同目標精度 (JGA) を提供し、LLM API へのリクエストが最大 90% 少ないことを示します。

要約(オリジナル)

Dialogue State Tracking (DST) is crucial for understanding user needs and executing appropriate system actions in task-oriented dialogues. Majority of existing DST methods are designed to work within predefined ontologies and assume the availability of gold domain labels, struggling with adapting to new slots values. While Large Language Models (LLMs)-based systems show promising zero-shot DST performance, they either require extensive computational resources or they underperform existing fully-trained systems, limiting their practicality. To address these limitations, we propose a zero-shot, open-vocabulary system that integrates domain classification and DST in a single pipeline. Our approach includes reformulating DST as a question-answering task for less capable models and employing self-refining prompts for more adaptable ones. Our system does not rely on fixed slot values defined in the ontology allowing the system to adapt dynamically. We compare our approach with existing SOTA, and show that it provides up to 20% better Joint Goal Accuracy (JGA) over previous methods on datasets like Multi-WOZ 2.1, with up to 90% fewer requests to the LLM API.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google