AIPatient: Simulating Patients with EHRs and LLM Powered Agentic Workflow

要約

シミュレートされた患者システムは、安全で統合的な学習環境を提供し、臨床意思決定のシミュレーションを可能にし、現代の医学教育と研究において重要な役割を果たしています。
Large Language Model (LLM) は、病状や患者と医師のやり取りを高忠実度かつ低コストで再現することで、シミュレートされた患者システムを進化させることができます。
ただし、これらのシステムには、大規模で多様かつ正確な患者の知識ベースと、ユーザーへの堅牢で安定した知識の普及が必要なため、これらのシステムの有効性と信頼性を確保することは依然として課題です。
ここでは、入力として AIPatient Knowledge Graph (AIPatient KG) を使用し、生成バックボーンとして Reasoning Retrieval-Augmented Generation (Reasoning RAG) エージェント ワークフローを備えた高度な模擬患者システムである AIPatient を開発しました。
AIPatient KG は、集中治療用医療情報マート (MIMIC)-III データベースの電子医療記録 (EHR) からデータをサンプリングし、知識ベースの妥当性が高い (F1 0.89) 1,495 人の臨床的に多様で関連性のある患者のコホートを生成します。
Reasoning RAG は、検索、KG クエリ生成、抽象化、チェッカー、リライト、要約などのタスクにわたる 6 つの LLM を利用したエージェントを活用します。
このエージェント フレームワークは、EHR ベースの医療質問応答 (QA) で全体の精度 94.15% に達し、エージェントをまったく使用しない、または部分的なエージェント統合のみを使用するベンチマークを上回ります。
私たちのシステムは、高い可読性 (Flesch Reading Ease 中央値 77.23、Flesch Kincaid Grade 中央値 5.6)、堅牢性 (ANOVA F 値 0.6126、p<0.1)、および安定性 (ANOVA F 値 0.782、p<0.1) も示します。 AIPatient システムの有望なパフォーマンスは、医学教育、モデル評価、システム統合など、幅広いアプリケーションをサポートする可能性を浮き彫りにしています。

要約(オリジナル)

Simulated patient systems play a crucial role in modern medical education and research, providing safe, integrative learning environments and enabling clinical decision-making simulations. Large Language Models (LLM) could advance simulated patient systems by replicating medical conditions and patient-doctor interactions with high fidelity and low cost. However, ensuring the effectiveness and trustworthiness of these systems remains a challenge, as they require a large, diverse, and precise patient knowledgebase, along with a robust and stable knowledge diffusion to users. Here, we developed AIPatient, an advanced simulated patient system with AIPatient Knowledge Graph (AIPatient KG) as the input and the Reasoning Retrieval-Augmented Generation (Reasoning RAG) agentic workflow as the generation backbone. AIPatient KG samples data from Electronic Health Records (EHRs) in the Medical Information Mart for Intensive Care (MIMIC)-III database, producing a clinically diverse and relevant cohort of 1,495 patients with high knowledgebase validity (F1 0.89). Reasoning RAG leverages six LLM powered agents spanning tasks including retrieval, KG query generation, abstraction, checker, rewrite, and summarization. This agentic framework reaches an overall accuracy of 94.15% in EHR-based medical Question Answering (QA), outperforming benchmarks that use either no agent or only partial agent integration. Our system also presents high readability (median Flesch Reading Ease 77.23; median Flesch Kincaid Grade 5.6), robustness (ANOVA F-value 0.6126, p<0.1), and stability (ANOVA F-value 0.782, p<0.1). The promising performance of the AIPatient system highlights its potential to support a wide range of applications, including medical education, model evaluation, and system integration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google