Hierarchical Reinforcement Learning for Automatic Disease Diagnosis

要約

動機付け: 疾患診断指向の対話システムは、マルコフ決定プロセスとして対話型の相談手順をモデル化し、問題を解決するために強化学習アルゴリズムが使用されます。
既存のアプローチは通常、行動を起こすためにすべての症状と病気を平等に扱うフラットな政策構造を採用しています。
この戦略は、アクション スペースが小さい場合の単純なシナリオではうまく機能しますが、実際の環境ではその効率が課題となります。
オフライン協議プロセスに触発されて、私たちは政策学習のための対話システムに 2 つのレベルの階層的政策構造を統合することを提案します。
高レベルのポリシーは、低レベルモデルのトリガーを担当するマスターモデルで構成され、低レベルのポリシーは、いくつかの症状チェッカーと疾患分類子で構成されます。
提案された政策構造は、多数の疾患や症状を含む診断問題に対処することができます。
結果: 3 つの現実世界のデータセットと 1 つの合成データセットに関する実験結果は、私たちの階層フレームワークが既存のシステムと比較して疾患診断においてより高い精度と症状想起を達成することを示しています。
データセットと既存のアルゴリズムの実装を含むベンチマークを構築し、追跡調査を促進します。
入手可能性: コードとデータは https://github.com/FudanDISC/DISCOpen-MedBox-DialoDiagnosis から入手できます。連絡先: 21210980124@m.fudan.edu.cn 補足情報: 補足データは Bioinformatics online で入手できます。

要約(オリジナル)

Motivation: Disease diagnosis oriented dialogue system models the interactive consultation procedure as Markov Decision Process and reinforcement learning algorithms are used to solve the problem. Existing approaches usually employ a flat policy structure that treat all symptoms and diseases equally for action making. This strategy works well in the simple scenario when the action space is small, however, its efficiency will be challenged in the real environment. Inspired by the offline consultation process, we propose to integrate a hierarchical policy structure of two levels into the dialogue systemfor policy learning. The high-level policy consists of amastermodel that is responsible for triggering a low-levelmodel, the lowlevel policy consists of several symptom checkers and a disease classifier. The proposed policy structure is capable to deal with diagnosis problem including large number of diseases and symptoms. Results: Experimental results on three real-world datasets and a synthetic dataset demonstrate that our hierarchical framework achieves higher accuracy and symptom recall in disease diagnosis compared with existing systems. We construct a benchmark including datasets and implementation of existing algorithms to encourage follow-up researches. Availability: The code and data is available from https://github.com/FudanDISC/DISCOpen-MedBox-DialoDiagnosis Contact: 21210980124@m.fudan.edu.cn Supplementary information: Supplementary data are available at Bioinformatics online.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google