Uncertainty-Aware Large Language Models for Explainable Disease Diagnosis

要約

患者情報（兆候や症状など）と計算モデルを活用して、考えられる診断と推論を生成する説明可能な疾患診断は、明確な臨床的価値を提供します。
ただし、臨床ノートには、明確な症状の欠如など、明確な診断の証拠が不十分な場合、診断の不確実性が通常生じ、誤診や副次的な結果のリスクが高まります。
診断不確実性を明示的に特定して説明することは、信頼できる診断システムには不可欠ですが、引き続き推奨されていません。
このギャップを埋めるために、診断基準を持つオープンソースLLMSを微調整することによって作成された不確実性の大きな言語モデル（LLM）であるConfidxを紹介します。
タスクを正式にし、さまざまな程度の診断のあいまいさをキャプチャする豊富な注釈付きデータセットを組み立てました。
実際のデータセットでconfidxを評価することで、診断の不確実性を特定し、優れた診断パフォーマンスを達成し、診断と不確実性に関する信頼できる説明を生成することに優れていることが示されました。
私たちの知る限り、これは診断の不確実性の認識と説明に共同で対処した最初の研究であり、自動診断システムの信頼性を大幅に向上させます。

要約(オリジナル)

Explainable disease diagnosis, which leverages patient information (e.g., signs and symptoms) and computational models to generate probable diagnoses and reasonings, offers clear clinical values. However, when clinical notes encompass insufficient evidence for a definite diagnosis, such as the absence of definitive symptoms, diagnostic uncertainty usually arises, increasing the risk of misdiagnosis and adverse outcomes. Although explicitly identifying and explaining diagnostic uncertainties is essential for trustworthy diagnostic systems, it remains under-explored. To fill this gap, we introduce ConfiDx, an uncertainty-aware large language model (LLM) created by fine-tuning open-source LLMs with diagnostic criteria. We formalized the task and assembled richly annotated datasets that capture varying degrees of diagnostic ambiguity. Evaluating ConfiDx on real-world datasets demonstrated that it excelled in identifying diagnostic uncertainties, achieving superior diagnostic performance, and generating trustworthy explanations for diagnoses and uncertainties. To our knowledge, this is the first study to jointly address diagnostic uncertainty recognition and explanation, substantially enhancing the reliability of automatic diagnostic systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google