MDDial: A Multi-turn Differential Diagnosis Dialogue Dataset with Reliability Evaluation

要約

自動鑑別診断 (ADD) 用の対話システムは、実際の幅広い用途に使用できます。
これらの対話システムは、容易なアクセスの提供と医療費の削減に期待されています。
エンドツーエンドの ADD 対話システムを構築するには、対話トレーニング データセットが必要です。
ただし、私たちの知る限り、英語で公開されている ADD ダイアログ データセットはありません (英語以外のデータセットは存在します)。
これをきっかけに、エンドツーエンドの ADD 対話システムの構築と評価に役立つ英語初の鑑別診断対話データセットである MDDial を導入します。
さらに、以前の研究では、診断と症状の正確さを個別に、または組み合わせた加重スコアとして提示しています。
この方法では、症状と診断との関連性が見落とされます。
症状と診断の相互作用を考慮した ADD システムの統一スコアを導入します。
このスコアはシステムの信頼性も示します。
最後に、MDDial で 2 つの中程度のサイズの言語モデルをトレーニングします。
私たちの実験によると、これらの言語モデルは、一般領域での対話タスクを含む多くの自然言語理解タスクでは良好に機能しますが、関連する症状や疾患を関連付けることに苦労しており、そのため MDDial ではパフォーマンスが低いことがわかりました。
MDDial は、ADD 対話研究の研究を支援するために一般公開されます。

要約(オリジナル)

Dialogue systems for Automatic Differential Diagnosis (ADD) have a wide range of real-life applications. These dialogue systems are promising for providing easy access and reducing medical costs. Building end-to-end ADD dialogue systems requires dialogue training datasets. However, to the best of our knowledge, there is no publicly available ADD dialogue dataset in English (although non-English datasets exist). Driven by this, we introduce MDDial, the first differential diagnosis dialogue dataset in English which can aid to build and evaluate end-to-end ADD dialogue systems. Additionally, earlier studies present the accuracy of diagnosis and symptoms either individually or as a combined weighted score. This method overlooks the connection between the symptoms and the diagnosis. We introduce a unified score for the ADD system that takes into account the interplay between symptoms and diagnosis. This score also indicates the system’s reliability. To the end, we train two moderate-size of language models on MDDial. Our experiments suggest that while these language models can perform well on many natural language understanding tasks, including dialogue tasks in the general domain, they struggle to relate relevant symptoms and disease and thus have poor performance on MDDial. MDDial will be released publicly to aid the study of ADD dialogue research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google