Large Language Models are Clinical Reasoners: Reasoning-Aware Diagnosis Framework with Prompt-Generated Rationales

要約

機械推論は、大規模言語モデル (LLM) のおかげで、近年大きく進歩しました。
しかし、臨床領域では、ほとんどの NLP 主導プロジェクトは主に臨床分類や読解に焦点を当てており、臨床医との高価な理論的根拠の注釈のせいで、疾患診断の臨床的推論については十分に検討されていません。
この研究では、時間と労働効率の高い方法でプロンプトベースの学習を通じて診断プロセスを合理化し、プロンプトで生成された理論的根拠を推論する方法を学習する「推論を意識した」診断フレームワークを紹介します。
具体的には、疾患診断の臨床推論に取り組みます。LLM は、提示された患者データに関する洞察と、診断に向けた推論経路、つまり臨床思考連鎖 (臨床 CoT) を提供する診断根拠を生成します。
私たちは、さまざまな設定における理論的根拠の生成と疾患診断の両方に関する広範な実験と分析を通じて、LLM/LMの臨床推論能力を実証的に示しています。
我々はさらに、現実の臨床現場における機械生成理論的根拠の可能性を評価するための新しい基準セットを提案し、この分野での将来の研究を促進し、利益をもたらします。

要約(オリジナル)

Machine reasoning has made great progress in recent years owing to large language models (LLMs). In the clinical domain, however, most NLP-driven projects mainly focus on clinical classification or reading comprehension, and under-explore clinical reasoning for disease diagnosis due to the expensive rationale annotation with clinicians. In this work, we present a ‘reasoning-aware’ diagnosis framework that rationalizes the diagnostic process via prompt-based learning in a time- and labor-efficient manner, and learns to reason over the prompt-generated rationales. Specifically, we address the clinical reasoning for disease diagnosis, where the LLM generates diagnostic rationales providing its insight on presented patient data and the reasoning path towards the diagnosis, namely Clinical Chain-of-Thought (Clinical CoT). We empirically demonstrate LLMs/LMs’ ability of clinical reasoning via extensive experiments and analyses on both rationale generation and disease diagnosis in various settings. We further propose a novel set of criteria for evaluating machine-generated rationales’ potential for real-world clinical settings, facilitating and benefiting future research in this area.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google