Large Language Model Benchmarks in Medical Tasks

要約

医療分野で大規模言語モデル (LLM) の適用が増えるにつれ、ベンチマーク データセットを使用してこれらのモデルのパフォーマンスを評価することが重要になってきています。
このペーパーでは、医療 LLM タスクで使用されるさまざまなベンチマーク データセットの包括的な調査を紹介します。
これらのデータセットは、テキスト、画像、マルチモーダル ベンチマークなどの複数のモダリティにまたがっており、電子医療記録 (EHR)、医師と患者の対話、医療質問応答、医療画像キャプションなどの医療知識のさまざまな側面に焦点を当てています。
この調査ではデータセットをモダリティごとに分類し、その重要性、データ構造、診断、レポート作成、予測意思決定支援などの臨床タスク用の LLM の開発への影響について議論しています。
主要なベンチマークには、MIMIC-III、MIMIC-IV、BioASQ、PubMedQA、および CheXpert が含まれており、これらにより、医療レポートの作成、臨床要約、合成データの生成などのタスクの進歩が促進されています。
この論文では、マルチモーダルな医療インテリジェンスを推進するためにこれらのベンチマークを活用する際の課題と機会を要約し、より高度な言語多様性、構造化オミクスデータ、合成への革新的なアプローチを備えたデータセットの必要性を強調しています。
この研究はまた、医療における LLM の応用における将来の研究の基礎を提供し、医療用人工知能の進化分野に貢献します。

要約(オリジナル)

With the increasing application of large language models (LLMs) in the medical domain, evaluating these models’ performance using benchmark datasets has become crucial. This paper presents a comprehensive survey of various benchmark datasets employed in medical LLM tasks. These datasets span multiple modalities including text, image, and multimodal benchmarks, focusing on different aspects of medical knowledge such as electronic health records (EHRs), doctor-patient dialogues, medical question-answering, and medical image captioning. The survey categorizes the datasets by modality, discussing their significance, data structure, and impact on the development of LLMs for clinical tasks such as diagnosis, report generation, and predictive decision support. Key benchmarks include MIMIC-III, MIMIC-IV, BioASQ, PubMedQA, and CheXpert, which have facilitated advancements in tasks like medical report generation, clinical summarization, and synthetic data generation. The paper summarizes the challenges and opportunities in leveraging these benchmarks for advancing multimodal medical intelligence, emphasizing the need for datasets with a greater degree of language diversity, structured omics data, and innovative approaches to synthesis. This work also provides a foundation for future research in the application of LLMs in medicine, contributing to the evolving field of medical artificial intelligence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google