LLMs Outperform Experts on Challenging Biology Benchmarks

要約

この研究では、分子生物学、遺伝学、クローニング、ウイルス学、およびバイオセキュリティにまたがる8つの生物学ベンチマーク上の27のフロンティアラージモデルを体系的に評価します。
2022年11月から2025年4月までにリリースされた主要なAI開発者のモデルは、ベンチマークごとに10回の独立した実行を通じて評価されました。
調査結果は、生物学的能力の劇的な改善を明らかにしています。
トップモデルのパフォーマンスは、研究期間中のウイルス能力テストの挑戦的なテキストのみのサブセットで4倍以上増加し、OpenaiのO3は現在、専門家のウイルス学者と同じように2回パフォーマンスを遂げています。
いくつかのモデルは、GPQAおよびWMDPの生物学サブセット、ラボベンチCloningscenariosなど、他の挑戦的なベンチマークでエキスパートレベルのパフォーマンスに一致するか、それを超えています。
期待に反して、チェーンオブは、ゼロショット評価よりもパフォーマンスを大幅に向上させませんでしたが、O3-MINIおよびCLAUDE 3.7ソネットの拡張推論機能は通常、推論スケーリングによって予測されるようにパフォーマンスを改善しました。
PubMedQAやMMLUおよびWMDP生物学のサブセットなどのベンチマークは、100％未満のパフォーマンスプラトーを示し、基礎となるベンチマークデータのベンチマーク飽和とエラーを示唆しています。
分析は、AIシステムが進歩し続けるにつれて、より洗練された評価方法論の必要性を強調しています。

要約(オリジナル)

This study systematically evaluates 27 frontier Large Language Models on eight biology benchmarks spanning molecular biology, genetics, cloning, virology, and biosecurity. Models from major AI developers released between November 2022 and April 2025 were assessed through ten independent runs per benchmark. The findings reveal dramatic improvements in biological capabilities. Top model performance increased more than 4-fold on the challenging text-only subset of the Virology Capabilities Test over the study period, with OpenAI’s o3 now performing twice as well as expert virologists. Several models now match or exceed expert-level performance on other challenging benchmarks, including the biology subsets of GPQA and WMDP and LAB-Bench CloningScenarios. Contrary to expectations, chain-of-thought did not substantially improve performance over zero-shot evaluation, while extended reasoning features in o3-mini and Claude 3.7 Sonnet typically improved performance as predicted by inference scaling. Benchmarks such as PubMedQA and the MMLU and WMDP biology subsets exhibited performance plateaus well below 100%, suggesting benchmark saturation and errors in the underlying benchmark data. The analysis highlights the need for more sophisticated evaluation methodologies as AI systems continue to advance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google