Benchmarking Chinese Medical LLMs: A Medbench-based Analysis of Performance Gaps and Hierarchical Optimization Strategies

要約

医療大規模な言語モデル（LLM）の評価と改善は、特に正確性、安全性、倫理的整合を確保するために、実際の展開に不可欠です。
既存のフレームワークは、ドメイン固有のエラーパターンを不十分に分析するか、クロスモーダルの課題に対処します。
この研究では、メドベンチの上位10モデルの体系的な分析を通じて、誤った応答を8つのタイプに分類することにより、純粋なエラーの分析を導入します。脱落、幻覚、形式の不一致、因果的推論欠乏、文脈上の不一致、未回答、出力エラー、および医療言語生成の不足。
10の主要なモデルの評価は脆弱性を明らかにします：医学知識のリコールで0.86の精度を達成したにもかかわらず、重要な推論タスクは96.3％の省略を示しますが、安全倫理評価は、オプションの下で驚くべき矛盾（堅牢性スコア：0.79）を暴露します。
私たちの分析は、知識の境界施行と多段階的推論の体系的な弱点を明らかにします。
これらに対処するために、迅速なエンジニアリングや知識を得た検索から、ハイブリッドニューロサンボリックアーキテクチャや因果推論フレームワークまで、4つのレベルにまたがる4つのレベルにまたがる階層化された最適化戦略を提案します。
この作業は、エラー駆動型の洞察を通じて評価パラダイムを再定義しながら、臨床的に堅牢なLLMSを開発するための実用的なロードマップを確立し、最終的にはハイステークスの医療環境におけるAIの安全性と信頼性を高めます。

要約(オリジナル)

The evaluation and improvement of medical large language models (LLMs) are critical for their real-world deployment, particularly in ensuring accuracy, safety, and ethical alignment. Existing frameworks inadequately dissect domain-specific error patterns or address cross-modal challenges. This study introduces a granular error taxonomy through systematic analysis of top 10 models on MedBench, categorizing incorrect responses into eight types: Omissions, Hallucination, Format Mismatch, Causal Reasoning Deficiency, Contextual Inconsistency, Unanswered, Output Error, and Deficiency in Medical Language Generation. Evaluation of 10 leading models reveals vulnerabilities: despite achieving 0.86 accuracy in medical knowledge recall, critical reasoning tasks show 96.3% omission, while safety ethics evaluations expose alarming inconsistency (robustness score: 0.79) under option shuffled. Our analysis uncovers systemic weaknesses in knowledge boundary enforcement and multi-step reasoning. To address these, we propose a tiered optimization strategy spanning four levels, from prompt engineering and knowledge-augmented retrieval to hybrid neuro-symbolic architectures and causal reasoning frameworks. This work establishes an actionable roadmap for developing clinically robust LLMs while redefining evaluation paradigms through error-driven insights, ultimately advancing the safety and trustworthiness of AI in high-stakes medical environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google