Continual Dialogue State Tracking via Reason-of-Select Distillation

要約

理想的な対話システムでは、事前の知識を保持しながら、継続的なスキルの習得と新しいタスクへの適応が必要です。
これらのシステムに不可欠な対話状態追跡 (DST) には、多くの場合、新しいサービスの学習と、「価値選択の困難」と呼ばれる重大な機能の喪失に伴う壊滅的な忘却への直面が含まれます。
これらの課題に対処するために、新しい「メタ推論」機能で小規模なモデルを強化することにより、Reason-of-Select (RoS) 蒸留手法を導入します。
メタ推論では、強化されたマルチドメインの視点を採用し、継続的な学習中にドメイン固有の対話からのメタ知識の断片を組み合わせます。
これは、従来の単一視点の推論を超えています。
ドメイン ブートストラップ プロセスにより、複数の可能な値から複雑な対話を分析するモデルの能力が強化されます。
ドメインに依存しない特性により、さまざまなドメイン間でのデータ分散が調整され、効果的に忘れが軽減されます。
さらに、「多値解決」戦略と意味対照推論選択方法という 2 つの新しい改善により、DST 固有の選択チェーンを生成し、教師の推論における幻覚を軽減することで RoS が大幅に強化され、効果的かつ信頼性の高い知識伝達が保証されます。
広範な実験により、私たちのメソッドの優れたパフォーマンスと堅牢な一般化機能が検証されています。
ソースコードは再現性を考慮して提供されています。

要約(オリジナル)

An ideal dialogue system requires continuous skill acquisition and adaptation to new tasks while retaining prior knowledge. Dialogue State Tracking (DST), vital in these systems, often involves learning new services and confronting catastrophic forgetting, along with a critical capability loss termed the ‘Value Selection Quandary.’ To address these challenges, we introduce the Reason-of-Select (RoS) distillation method by enhancing smaller models with a novel ‘meta-reasoning’ capability. Meta-reasoning employs an enhanced multi-domain perspective, combining fragments of meta-knowledge from domain-specific dialogues during continual learning. This transcends traditional single-perspective reasoning. The domain bootstrapping process enhances the model’s ability to dissect intricate dialogues from multiple possible values. Its domain-agnostic property aligns data distribution across different domains, effectively mitigating forgetting. Additionally, two novel improvements, ‘multi-value resolution’ strategy and Semantic Contrastive Reasoning Selection method, significantly enhance RoS by generating DST-specific selection chains and mitigating hallucinations in teachers’ reasoning, ensuring effective and reliable knowledge transfer. Extensive experiments validate the exceptional performance and robust generalization capabilities of our method. The source code is provided for reproducibility.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google