Improving Dialogue Management: Quality Datasets vs Models

要約

タスク指向対話システム (TODS) は、ユーザーが自然言語を使用してマシンやコンピューターと対話するために重要になっています。
その重要なコンポーネントの 1 つはダイアログ マネージャーです。ダイアログ マネージャーは、可能な限り最善の応答を提供することで、ユーザーの適切な目標に向かって会話を導きます。
これまでの研究では、正しい対話管理のためのソリューションとして、ルールベース システム (RBS)、強化学習 (RL)、教師あり学習 (SL) が提案されてきました。
言い換えれば、ユーザーが入力した最適な応答を選択します。
しかし、この研究では、DM が最大のパフォーマンスを達成できない主な原因は、これまでに使用されたモデルではなくデータセットの品質にあると主張しています。
これは、対話管理における失敗の大部分は、ラベル付けの誤りなどのデータセット エラーが原因であることを意味します。
この仮説を実証するために、最も広く使用されているデータセットである Multiwoz 2.1 と SGD の主なエラーを調査しました。
これを行うために、データセットに導入されるエラーの量と種類を完全に制御する合成ダイアログ ジェネレーターを設計しました。
このジェネレーターを使用して、データセット内のエラーがモデルのパフォーマンスに比例して寄与することを実証しました。

要約(オリジナル)

Task-oriented dialogue systems (TODS) have become crucial for users to interact with machines and computers using natural language. One of its key components is the dialogue manager, which guides the conversation towards a good goal for the user by providing the best possible response. Previous works have proposed rule-based systems (RBS), reinforcement learning (RL), and supervised learning (SL) as solutions for the correct dialogue management; in other words, select the best response given input by the user. However, this work argues that the leading cause of DMs not achieving maximum performance resides in the quality of the datasets rather than the models employed thus far; this means that dataset errors, like mislabeling, originate a large percentage of failures in dialogue management. We studied the main errors in the most widely used datasets, Multiwoz 2.1 and SGD, to demonstrate this hypothesis. To do this, we have designed a synthetic dialogue generator to fully control the amount and type of errors introduced in the dataset. Using this generator, we demonstrated that errors in the datasets contribute proportionally to the performance of the models

arxiv情報

提供元, 利用サービス

arxiv.jp, Google