Deep Reinforcement Learning for Cost-Effective Medical Diagnosis

要約

医療検査に費用や時間がかかる場合は、動的診断が望ましいです。
この作業では、強化学習 (RL) を使用して、以前の観測に基づいてラボ テスト パネルを順次選択する動的ポリシーを見つけ、低コストで正確なテストを保証します。
臨床診断データはしばしば非常に不均衡です。
したがって、エラー率ではなく $F_1$ スコアを最大化することを目指します。
ただし、凹でない $F_1$ スコアを最適化することは、古典的な RL の問題ではないため、標準の RL メソッドを無効にします。
この問題を解決するために、$F_1$ スコアのプロパティとポリシー最適化の双対性を活用して、予算に制約のある $F_1$ スコア最大化のためのすべてのパレート最適ポリシーのセットを証明可能に見つけるために、報酬形成アプローチを開発します。
組み合わせ的に複雑な状態空間を処理するために、エンドツーエンドのトレーニングとオンライン学習と互換性のあるセミモデルベースのディープ診断ポリシー最適化 (SM-DDPO) フレームワークを提案します。
SM-DDPO は、フェリチン異常検出、敗血症死亡率予測、急性腎障害診断など、さまざまな臨床タスクでテストされています。
実世界のデータを使用した実験により、SM-DDPO が効率的にトレーニングし、すべてのパレート フロント ソリューションを識別することが検証されます。
すべてのタスクで、SM-DDPO は最先端の診断精度 (場合によっては従来の方法よりも高い) を達成し、テスト コストを最大 $85\%$ 削減できます。
コードは [https://github.com/Zheng321/Deep-Reinforcement-Learning-for-Cost-Effective-Medical-Diagnosis] で入手できます。

要約(オリジナル)

Dynamic diagnosis is desirable when medical tests are costly or time-consuming. In this work, we use reinforcement learning (RL) to find a dynamic policy that selects lab test panels sequentially based on previous observations, ensuring accurate testing at a low cost. Clinical diagnostic data are often highly imbalanced; therefore, we aim to maximize the $F_1$ score instead of the error rate. However, optimizing the non-concave $F_1$ score is not a classic RL problem, thus invalidates standard RL methods. To remedy this issue, we develop a reward shaping approach, leveraging properties of the $F_1$ score and duality of policy optimization, to provably find the set of all Pareto-optimal policies for budget-constrained $F_1$ score maximization. To handle the combinatorially complex state space, we propose a Semi-Model-based Deep Diagnosis Policy Optimization (SM-DDPO) framework that is compatible with end-to-end training and online learning. SM-DDPO is tested on diverse clinical tasks: ferritin abnormality detection, sepsis mortality prediction, and acute kidney injury diagnosis. Experiments with real-world data validate that SM-DDPO trains efficiently and identifies all Pareto-front solutions. Across all tasks, SM-DDPO is able to achieve state-of-the-art diagnosis accuracy (in some cases higher than conventional methods) with up to $85\%$ reduction in testing cost. The code is available at [https://github.com/Zheng321/Deep-Reinforcement-Learning-for-Cost-Effective-Medical-Diagnosis].

arxiv情報

提供元, 利用サービス

arxiv.jp, Google