Knowledge-Retrieval Task-Oriented Dialog Systems with Semi-Supervision

要約

既存のタスク指向ダイアログ (TOD) システムのほとんどは、スロットと値の観点からダイアログの状態を追跡し、それらを使用してデータベースにクエリを実行し、応答を生成するための関連知識を取得します。
実際のアプリケーションでは、ユーザーの発話の方がノイズが多いため、ダイアログの状態を正確に追跡し、関連する知識を正しく確保することがより困難になります。
最近、質問応答および文書ベースの対話システムの進歩により、ナレッジ リトリーバーを使用した検索拡張方法が行われています。
このような進歩に触発されて、我々は、TOD システムにおける知識選択を強化するための検索ベースの方法を提案します。この方法は、現実の対話に対する従来のデータベース クエリ方法よりも大幅に優れています。
さらに、潜在変数モデルに基づいた半教師あり学習を開発します。これは、ナレッジ検索ツールと連携して、ラベル付き対話データとラベルなし対話データの両方を活用できます。
半教師ありモデルのトレーニングには関節確率近似 (JSA) アルゴリズムが採用されており、システム全体はその JSA-KRTOD と呼ばれます。
実験は、MobileCS と呼ばれる China Mobile Custom-Service の実際のデータセットで行われ、JSA-KRTOD がラベル付きのみの設定と半教師ありの設定の両方で優れたパフォーマンスを達成することを示しています。

要約(オリジナル)

Most existing task-oriented dialog (TOD) systems track dialog states in terms of slots and values and use them to query a database to get relevant knowledge to generate responses. In real-life applications, user utterances are noisier, and thus it is more difficult to accurately track dialog states and correctly secure relevant knowledge. Recently, a progress in question answering and document-grounded dialog systems is retrieval-augmented methods with a knowledge retriever. Inspired by such progress, we propose a retrieval-based method to enhance knowledge selection in TOD systems, which significantly outperforms the traditional database query method for real-life dialogs. Further, we develop latent variable model based semi-supervised learning, which can work with the knowledge retriever to leverage both labeled and unlabeled dialog data. Joint Stochastic Approximation (JSA) algorithm is employed for semi-supervised model training, and the whole system is referred to as that JSA-KRTOD. Experiments are conducted on a real-life dataset from China Mobile Custom-Service, called MobileCS, and show that JSA-KRTOD achieves superior performances in both labeled-only and semi-supervised settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google