MedAgentsBench: Benchmarking Thinking Models and Agent Frameworks for Complex Medical Reasoning

要約

大規模な言語モデル（LLMS）は、既存の医療質問を振り回すベンチマークで印象的なパフォーマンスを示しています。
この高性能により、高度な方法を有意義に評価および区別することがますます困難になります。
MedagentsBenchは、標準テストでの強力なパフォーマンスにもかかわらず、現在のモデルがまだ苦労しているマルチステップの臨床的推論、診断の定式化、および治療計画の順に必要な挑戦的な医学的質問に焦点を当てたベンチマークです。
7つの確立された医療データセットからの引き出しで、私たちのベンチマークは、既存の評価における3つの重要な制限に対処しています。（1）基本モデルでさえ高性能、（2）研究全体で一貫性のないサンプリングと評価プロトコルを達成する簡単な質問の有病率、および（3）パフォーマンス、コスト、および推論時間の間の相互作用の体系的な分析の欠如。
さまざまなベースモデルと推論方法を使用した実験を通じて、最新の思考モデルであるDeepseek R1とOpenai O3が、複雑な医療推論タスクで並外れたパフォーマンスを示すことを実証します。
さらに、高度な検索ベースのエージェントメソッドは、従来のアプローチと比較して、有望なパフォーマンスとコストの比率を提供します。
私たちの分析では、複雑な質問に関するモデルファミリ間のかなりのパフォーマンスギャップが明らかになり、さまざまな計算制約の最適なモデル選択が識別されます。
当社のベンチマークおよび評価フレームワークは、https：//github.com/gersteinlab/medagents-benchmarkで公開されています。

要約(オリジナル)

Large Language Models (LLMs) have shown impressive performance on existing medical question-answering benchmarks. This high performance makes it increasingly difficult to meaningfully evaluate and differentiate advanced methods. We present MedAgentsBench, a benchmark that focuses on challenging medical questions requiring multi-step clinical reasoning, diagnosis formulation, and treatment planning-scenarios where current models still struggle despite their strong performance on standard tests. Drawing from seven established medical datasets, our benchmark addresses three key limitations in existing evaluations: (1) the prevalence of straightforward questions where even base models achieve high performance, (2) inconsistent sampling and evaluation protocols across studies, and (3) lack of systematic analysis of the interplay between performance, cost, and inference time. Through experiments with various base models and reasoning methods, we demonstrate that the latest thinking models, DeepSeek R1 and OpenAI o3, exhibit exceptional performance in complex medical reasoning tasks. Additionally, advanced search-based agent methods offer promising performance-to-cost ratios compared to traditional approaches. Our analysis reveals substantial performance gaps between model families on complex questions and identifies optimal model selections for different computational constraints. Our benchmark and evaluation framework are publicly available at https://github.com/gersteinlab/medagents-benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google