Benchmarking Next-Generation Reasoning-Focused Large Language Models in Ophthalmology: A Head-to-Head Evaluation on 5,888 Items

要約

推論に焦点を当てた大手言語モデル（LLMS）の最近の進歩は、一般的なLLMSから複雑な意思決定のために設計されたモデルへの移行を、医学の重要な側面です。
ただし、眼科のような専門的なドメインでのパフォーマンスは、採用されていないままです。
この研究は、4つの新しく開発された推論に焦点を当てたLLMの精度と推論能力を包括的に評価し、比較しました。
各モデルは、ゼロショット設定でMEDMCQAデータセットからの5,888の多肢選択眼科試験の質問を使用して評価されました。
定量的評価には、基礎的な推論に対して計算された精度、マクロ-F1、および5つのテキストジェネレーションメトリック（Rouge-L、Meteor、Bertscore、Bartscore、およびAlignscore）が含まれます。
ランダムに選択された100の質問のサブセットについて、平均推論時間が記録されました。
さらに、2人のボード認定眼科医が、鑑別診断の質問に対する応答の明確性、完全性、および推論構造を定性的に評価しました。O1（0.902）およびDeepseek-R1（0.888）は、Macro-F1（0.900）をリードしているO1も達成しました。
テキストジェネレーションメトリック全体のモデルのパフォーマンスはさまざまでした：O3-MINIはルージュ-L（0.151）、Meteor（0.232）、Deepseek-R1およびO3-MiniがBertscore（0.673）、Deepseek-R1（-4.105）、Gemini 2.0で最高のパフォーマンスを発揮しました（-4.127）に結び付けられています（-4.127）
O3-MINI（0.181）およびO1（0.176）LED AlignScore。
モデル全体での推論時間はさまざまで、DeepSeek-R1は最も遅い（40.4秒）、Gemini 2.0 Flash-Thinkingestest（6.7秒）がありました。
定性的評価により、Deepseek-R1とGemini 2.0のフラッシュ思考が詳細かつ包括的な中間推論を提供する傾向があることが明らかになりましたが、O1とO3-Miniは簡潔で要約された正当化を示しました。

要約(オリジナル)

Recent advances in reasoning-focused large language models (LLMs) mark a shift from general LLMs toward models designed for complex decision-making, a crucial aspect in medicine. However, their performance in specialized domains like ophthalmology remains underexplored. This study comprehensively evaluated and compared the accuracy and reasoning capabilities of four newly developed reasoning-focused LLMs, namely DeepSeek-R1, OpenAI o1, o3-mini, and Gemini 2.0 Flash-Thinking. Each model was assessed using 5,888 multiple-choice ophthalmology exam questions from the MedMCQA dataset in zero-shot setting. Quantitative evaluation included accuracy, Macro-F1, and five text-generation metrics (ROUGE-L, METEOR, BERTScore, BARTScore, and AlignScore), computed against ground-truth reasonings. Average inference time was recorded for a subset of 100 randomly selected questions. Additionally, two board-certified ophthalmologists qualitatively assessed clarity, completeness, and reasoning structure of responses to differential diagnosis questions.O1 (0.902) and DeepSeek-R1 (0.888) achieved the highest accuracy, with o1 also leading in Macro-F1 (0.900). The performance of models across the text-generation metrics varied: O3-mini excelled in ROUGE-L (0.151), o1 in METEOR (0.232), DeepSeek-R1 and o3-mini tied for BERTScore (0.673), DeepSeek-R1 (-4.105) and Gemini 2.0 Flash-Thinking (-4.127) performed best in BARTScore, while o3-mini (0.181) and o1 (0.176) led AlignScore. Inference time across the models varied, with DeepSeek-R1 being slowest (40.4 seconds) and Gemini 2.0 Flash-Thinking fastest (6.7 seconds). Qualitative evaluation revealed that DeepSeek-R1 and Gemini 2.0 Flash-Thinking tended to provide detailed and comprehensive intermediate reasoning, whereas o1 and o3-mini displayed concise and summarized justifications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google