Performance of large language models in numerical vs. semantic medical knowledge: Benchmarking on evidence-based Q&As

要約

臨床問題の解決には、証拠に基づいた意思決定のために、疾患スクリプトなどの意味論的な医学知識や診断検査の数値医学知識を処理する必要があります。
大規模言語モデル (LLM) は言語ベースの臨床実践の多くの側面で有望な結果を示しているため、臨床上の疑問に対して非言語の証拠に基づいた回答を生成する能力はトークン化によって本質的に制限されています。
したがって、医学的側面における LLM 内および LLM 間の違いを調べ、そのパフォーマンスを人間と比較しながら、数値 (相関する所見) と意味論 (エンティティを区別する) という 2 つの質問タイプで LLM のパフォーマンスを評価しました。
証拠に基づく医療 (EBM) に基づいて簡単な多肢選択式の質問と回答 (QA) を生成するために、包括的な医学知識グラフ (50,00 を超える査読済み論文のデータを網羅) を使用して「EBMQA」を作成しました。
EBMQA には、医療および非医療トピックがラベル付けされ、数値質問または意味論的な質問に分類された 105,000 の QA が含まれています。
私たちは、Chat-GPT4 と Claude3-Opus という 2 つの最先端の LLM で 24,500 を超える QA を使用して、このデータセットのベンチマークを実行しました。
意味論的および数値的な質問タイプおよびサブラベル付きトピックに従って、LLM の精度を評価しました。
検証のために、6 人の医療専門家が EBMQA の 100 の数値質問についてテストを受けました。
どちらの LLM も数値 QA よりもセマンティック QA において優れており、数値 QA では Claude3 が GPT4 を上回っていることがわかりました。
しかし、両方のLLMは、さまざまな医学的側面において相互および内部のギャップを示し、依然として人間より劣っていました。
したがって、彼らの医学的アドバイスには慎重に対処する必要があります。

要約(オリジナル)

Clinical problem-solving requires processing of semantic medical knowledge such as illness scripts and numerical medical knowledge of diagnostic tests for evidence-based decision-making. As large language models (LLMs) show promising results in many aspects of language-based clinical practice, their ability to generate non-language evidence-based answers to clinical questions is inherently limited by tokenization. Therefore, we evaluated LLMs’ performance on two question types: numeric (correlating findings) and semantic (differentiating entities) while examining differences within and between LLMs in medical aspects and comparing their performance to humans. To generate straightforward multi-choice questions and answers (QAs) based on evidence-based medicine (EBM), we used a comprehensive medical knowledge graph (encompassed data from more than 50,00 peer-reviewed articles) and created the ‘EBMQA’. EBMQA contains 105,000 QAs labeled with medical and non-medical topics and classified into numerical or semantic questions. We benchmarked this dataset using more than 24,500 QAs on two state-of-the-art LLMs: Chat-GPT4 and Claude3-Opus. We evaluated the LLMs accuracy on semantic and numerical question types and according to sub-labeled topics. For validation, six medical experts were tested on 100 numerical EBMQA questions. We found that both LLMs excelled more in semantic than numerical QAs, with Claude3 surpassing GPT4 in numerical QAs. However, both LLMs showed inter and intra gaps in different medical aspects and remained inferior to humans. Thus, their medical advice should be addressed carefully.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google