MedExQA: Medical Question Answering Benchmark with Multiple Explanations

要約

この論文では、説明を通じて大規模言語モデル (LLM) による医療知識の理解を評価するための、医療質問応答の新しいベンチマークである MedExQA を紹介します。
現在のデータセットでは過小評価されている 5 つの異なる医療専門分野にわたるデータセットを構築し、各質問と回答のペアについて複数の説明をさらに組み込むことにより、微妙なニュアンスを生成する LLM の能力の包括的な評価が存在しないという現在の医療 QA ベンチマークの大きなギャップに対処します。
医学的な説明。
私たちの研究は、医療 LLM における説明可能性の重要性を強調し、分類精度を超えてモデルを評価するための効果的な方法論を提案し、GPT4 を含む現在の LLM が十分な理解に欠けている 1 つの特定の領域である音声言語病理に光を当てます。
私たちの結果は、複数の説明を伴う世代評価が人間の評価とよりよく一致することを示しており、LLM のより堅牢な自動理解評価の機会を強調しています。
オープンソースの医療 LLM (現在は主に Llama2 に基づく) を多様化するために、この研究では Phi-2 (2.7B) に基づく新しい医療モデル MedPhi-2 も提案しています。
このモデルは、説明の生成において Llama2-70B に基づく医療 LLM を上回り、リソースに制約のある医療領域での有効性を示しました。
ベンチマーク データセットとトレーニング済みモデルを共有します。

要約(オリジナル)

This paper introduces MedExQA, a novel benchmark in medical question-answering, to evaluate large language models’ (LLMs) understanding of medical knowledge through explanations. By constructing datasets across five distinct medical specialties that are underrepresented in current datasets and further incorporating multiple explanations for each question-answer pair, we address a major gap in current medical QA benchmarks which is the absence of comprehensive assessments of LLMs’ ability to generate nuanced medical explanations. Our work highlights the importance of explainability in medical LLMs, proposes an effective methodology for evaluating models beyond classification accuracy, and sheds light on one specific domain, speech language pathology, where current LLMs including GPT4 lack good understanding. Our results show generation evaluation with multiple explanations aligns better with human assessment, highlighting an opportunity for a more robust automated comprehension assessment for LLMs. To diversify open-source medical LLMs (currently mostly based on Llama2), this work also proposes a new medical model, MedPhi-2, based on Phi-2 (2.7B). The model outperformed medical LLMs based on Llama2-70B in generating explanations, showing its effectiveness in the resource-constrained medical domain. We will share our benchmark datasets and the trained model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google