Generative Induction of Dialogue Task Schemas with Streaming Refinement and Simulated Interactions

要約

タスク指向のダイアログ（TOD）システムでは、スロットスキーマ誘導（SSI）が、手動介入なしにダイアログデータからキー情報スロットを自動的に識別するために不可欠です。
このペーパーでは、言語モデルがダイアログデータのストリーム上でスロットスキーマを徐々に構築および改良するテキスト生成タスクとしてSSIを定式化する新しい最先端（SOTA）アプローチを紹介します。
このアプローチを開発するために、新しいタスクドメインの高品質の状態ラベルを持つデータを作成する完全に自動LLMベースのTODシミュレーション方法を提示します。
さらに、データの漏れと人間の判断とのメトリックの整合が不十分なため、SSI評価の問題を特定します。
人間のガイダンスと修正を使用して、シミュレーション方法を使用して新しい評価データを作成し、改善された評価メトリックを設計することにより、これらを解決します。
これらの貢献は、将来のSSI研究の基盤を確立し、対話の理解とシステム開発におけるSOTAを促進します。

要約(オリジナル)

In task-oriented dialogue (TOD) systems, Slot Schema Induction (SSI) is essential for automatically identifying key information slots from dialogue data without manual intervention. This paper presents a novel state-of-the-art (SoTA) approach that formulates SSI as a text generation task, where a language model incrementally constructs and refines a slot schema over a stream of dialogue data. To develop this approach, we present a fully automatic LLM-based TOD simulation method that creates data with high-quality state labels for novel task domains. Furthermore, we identify issues in SSI evaluation due to data leakage and poor metric alignment with human judgment. We resolve these by creating new evaluation data using our simulation method with human guidance and correction, as well as designing improved evaluation metrics. These contributions establish a foundation for future SSI research and advance the SoTA in dialogue understanding and system development.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google