Evaluation of GPT-3.5 and GPT-4 for supporting real-world information needs in healthcare delivery

要約

タイトル：『医療提供における実世界の情報ニーズをサポートするためのGPT-3.5およびGPT-4の評価』
-大規模言語モデル（LLM）を医療に活用する関心が高まっているにもかかわらず、現在の探索ではLLMの現実的な有用性や安全性を臨床設定で評価していない。本研究の目的は、2つのLLMが、医師からの問い合わせとしてインフォマティクス相談サービスに提出された情報ニーズを安全かつ一致する方法で提供できるかどうかを決定することであった。
– 66の質問がGPT-3.5およびGPT-4により簡単なプロンプトを通して提出された。12人の医師が、LLMの回答が患者への害の可能性とインフォマティクス相談サービスからの既存の報告との適合性を評価した。医師の評価は、多数決に基づいて要約された。ほとんどの質問において、医師の多数派はどちらのLLMの回答も有害とみなさなかった。
– GPT-3.5においては、8つの質問について回答が適合し、20つについては不一致であり、9つは評価できなかった。『同意する』、『同意しない』、『評価不能』のいずれでも多数派が存在しなかった回答が29個あった。GPT-4においては、13の質問について回答が適合し、15つについては不一致であり、3つは評価できなかった。35の回答には多数派が存在しなかった。LLMの回答は、明らかな害を含んでいなかったが、回答のうち20％未満がインフォマティクス相談サービスの回答に同意するものであり、回答には幻想的な言及が含まれていた。また、医師たちは何が害であるとみなされるかに分かれた。
– これらの結果は、一般向けのLLMが安全で信頼できる回答を提供する能力を持っていると同時に、特定の質問に対する情報ニーズを満たすことができないことを示している。LLMを医療現場で有用に活用するためには、プロンプトエンジニアリング、キャリブレーション、および一般的なモデルのカスタマイズに関する追加の研究が必要とされる。

要約(オリジナル)

Despite growing interest in using large language models (LLMs) in healthcare, current explorations do not assess the real-world utility and safety of LLMs in clinical settings. Our objective was to determine whether two LLMs can serve information needs submitted by physicians as questions to an informatics consultation service in a safe and concordant manner. Sixty six questions from an informatics consult service were submitted to GPT-3.5 and GPT-4 via simple prompts. 12 physicians assessed the LLM responses’ possibility of patient harm and concordance with existing reports from an informatics consultation service. Physician assessments were summarized based on majority vote. For no questions did a majority of physicians deem either LLM response as harmful. For GPT-3.5, responses to 8 questions were concordant with the informatics consult report, 20 discordant, and 9 were unable to be assessed. There were 29 responses with no majority on ‘Agree’, ‘Disagree’, and ‘Unable to assess’. For GPT-4, responses to 13 questions were concordant, 15 discordant, and 3 were unable to be assessed. There were 35 responses with no majority. Responses from both LLMs were largely devoid of overt harm, but less than 20% of the responses agreed with an answer from an informatics consultation service, responses contained hallucinated references, and physicians were divided on what constitutes harm. These results suggest that while general purpose LLMs are able to provide safe and credible responses, they often do not meet the specific information need of a given question. A definitive evaluation of the usefulness of LLMs in healthcare settings will likely require additional research on prompt engineering, calibration, and custom-tailoring of general purpose models.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI