MAP: Evaluation and Multi-Agent Enhancement of Large Language Models for Inpatient Pathways

要約

入院患者経路は、包括的な患者情報に基づいて複雑な臨床的意思決定を要求し、臨床医に重大な課題をもたらします。
医療用途の大規模な言語モデル（LLM）の進歩にもかかわらず、大規模な入院データセットがないため、人工知能（AI）入院経路シス​​テムに焦点を当てた限られた研究。
さらに、既存の医療ベンチマークは、通常、医療の質問と試験に集中しており、入院患者環境での臨床的意思決定の多面的な性質を無視しています。
これらのギャップに対処するために、最初にMimic-IVデータベースから入院経路決定サポート（IPDS）ベンチマークを開発しました。これは、9つのトリアージ部門に51,274の症例と16の標準化された治療オプションとともに51,274件の症例を網羅しています。
次に、患者入院を管理するトリアージエージェント、部門の主要な意思決定者として機能する診断剤、治療剤を提供する治療剤を含む3つの臨床剤を含む入院患者経路を達成するために、多因子入院患者経路（MAP）フレームワークを提案しました。
さらに、マップフレームワークには、入院患者の経路を監督するチーフエージェントが含まれており、これら3人の臨床薬剤を導き、促進します。
広範な実験では、最先端のLLM Huatuogpt2-13bと比較して、マップが診断精度を25.10％改善したことが示されました。
私たちのマップが重要な臨床コンプライアンスを実証し、3人の取締役会認定臨床医を10％〜12％上回り、入院患者経路システムの基礎を確立したことは注目に値します。

要約(オリジナル)

Inpatient pathways demand complex clinical decision-making based on comprehensive patient information, posing critical challenges for clinicians. Despite advancements in large language models (LLMs) in medical applications, limited research focused on artificial intelligence (AI) inpatient pathways systems, due to the lack of large-scale inpatient datasets. Moreover, existing medical benchmarks typically concentrated on medical question-answering and examinations, ignoring the multifaceted nature of clinical decision-making in inpatient settings. To address these gaps, we first developed the Inpatient Pathway Decision Support (IPDS) benchmark from the MIMIC-IV database, encompassing 51,274 cases across nine triage departments and 17 major disease categories alongside 16 standardized treatment options. Then, we proposed the Multi-Agent Inpatient Pathways (MAP) framework to accomplish inpatient pathways with three clinical agents, including a triage agent managing the patient admission, a diagnosis agent serving as the primary decision maker at the department, and a treatment agent providing treatment plans. Additionally, our MAP framework includes a chief agent overseeing the inpatient pathways to guide and promote these three clinician agents. Extensive experiments showed our MAP improved the diagnosis accuracy by 25.10% compared to the state-of-the-art LLM HuatuoGPT2-13B. It is worth noting that our MAP demonstrated significant clinical compliance, outperforming three board-certified clinicians by 10%-12%, establishing a foundation for inpatient pathways systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google