Large Language Models Perform Diagnostic Reasoning

要約

私たちは、自動診断タスクのための医学的推論への思考連鎖 (CoT) の拡張を探ります。
医師の根本的な推論プロセスに動機付けられた、診断推論 CoT (DR-CoT) を紹介します。
経験的な結果は、2 つの DR-CoT サンプルを使用して一般的なテキスト コーパスのみでトレーニングされた大規模な言語モデルをプロンプトするだけで、標準的なプロンプトと比較して診断精度が 15% 向上することを示しています。
さらに、ドメイン外の設定では、そのギャップは顕著な 18% に達します。
私たちの調査結果は、大規模な言語モデルにおける専門家の知識による推論が、適切なプロンプトを通じて引き出される可能性があることを示唆しています。

要約(オリジナル)

We explore the extension of chain-of-thought (CoT) prompting to medical reasoning for the task of automatic diagnosis. Motivated by doctors’ underlying reasoning process, we present Diagnostic-Reasoning CoT (DR-CoT). Empirical results demonstrate that by simply prompting large language models trained only on general text corpus with two DR-CoT exemplars, the diagnostic accuracy improves by 15% comparing to standard prompting. Moreover, the gap reaches a pronounced 18% in out-domain settings. Our findings suggest expert-knowledge reasoning in large language models can be elicited through proper promptings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google