Med-PMC: Medical Personalized Multi-modal Consultation with a Proactive Ask-First-Observe-Next Paradigm

要約

医療臨床シナリオにおけるマルチモーダル大規模言語モデル (MLLM) の応用は、まだ研究されていません。
以前のベンチマークは、医療視覚的質問応答 (VQA) またはレポート生成における MLLM の能力にのみ焦点を当てており、複雑な臨床マルチモーダル タスクにおける MLLM のパフォーマンスを評価できませんでした。
この論文では、MLLM の臨床能力を評価するための新しい医療個別化マルチモーダル相談 (Med-PMC) パラダイムを提案します。
Med-PMC は、MLLM が患者シミュレーターと対話してマルチモーダルな情報収集および意思決定タスクを完了する必要がある模擬臨床環境を構築します。
具体的には、患者シミュレーターは、実際のシナリオで多様な患者をシミュレートするために、パーソナライズされたアクターで装飾されています。
私たちは 12 種類の MLLM にアクセスする広範な実験を実施し、MLLM の臨床パフォーマンスの包括的なビューを提供します。
私たちは、現在のMLLMが多峰性の情報を収集できず、個別化された患者シミュレーターと相談した場合に意思決定タスクに潜在的な偏りを示していることを発見しました。
さらなる分析により、Med-PMC の有効性が実証され、堅牢で信頼性の高い臨床 MLLM の開発を導く可能性が示されました。
コードとデータは https://github.com/LiuHC0428/Med-PMC で入手できます。

要約(オリジナル)

The application of the Multi-modal Large Language Models (MLLMs) in medical clinical scenarios remains underexplored. Previous benchmarks only focus on the capacity of the MLLMs in medical visual question-answering (VQA) or report generation and fail to assess the performance of the MLLMs on complex clinical multi-modal tasks. In this paper, we propose a novel Medical Personalized Multi-modal Consultation (Med-PMC) paradigm to evaluate the clinical capacity of the MLLMs. Med-PMC builds a simulated clinical environment where the MLLMs are required to interact with a patient simulator to complete the multi-modal information-gathering and decision-making task. Specifically, the patient simulator is decorated with personalized actors to simulate diverse patients in real scenarios. We conduct extensive experiments to access 12 types of MLLMs, providing a comprehensive view of the MLLMs’ clinical performance. We found that current MLLMs fail to gather multimodal information and show potential bias in the decision-making task when consulted with the personalized patient simulators. Further analysis demonstrates the effectiveness of Med-PMC, showing the potential to guide the development of robust and reliable clinical MLLMs. Code and data are available at https://github.com/LiuHC0428/Med-PMC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google