Revisiting the MIMIC-IV Benchmark: Experiments Using Language Models for Electronic Health Records

要約

テキスト入力の医療ドメインに標準化された評価ベンチマークの欠如は、健康関連の下流タスクの自然言語モデルの可能性を広く採用し、活用するための障壁となる可能性があります。
このペーパーでは、この問題に対処するために、電子健康記録（EHRS）のための公然と利用可能な模倣IVベンチマークを再訪しました。
まず、Hugging Face Datasets Library内にMimic-IVデータを統合して、このコレクションの簡単な共有と使用を可能にします。
次に、EHR表形式データをテキストに変換するためのテンプレートの適用を調査します。
患者の死亡率に関する微調整およびゼロショットLLMを使用した実験では、微調整されたテキストベースのモデルが堅牢な表形式分類子に対して競合していることが示されています。
対照的に、ゼロショットLLMSはEHR表現を活用するのに苦労しています。
この研究では、医療分野でのテキストベースのアプローチの可能性を強調し、さらなる改善のために領域を強調しています。

要約(オリジナル)

The lack of standardized evaluation benchmarks in the medical domain for text inputs can be a barrier to widely adopting and leveraging the potential of natural language models for health-related downstream tasks. This paper revisited an openly available MIMIC-IV benchmark for electronic health records (EHRs) to address this issue. First, we integrate the MIMIC-IV data within the Hugging Face datasets library to allow an easy share and use of this collection. Second, we investigate the application of templates to convert EHR tabular data to text. Experiments using fine-tuned and zero-shot LLMs on the mortality of patients task show that fine-tuned text-based models are competitive against robust tabular classifiers. In contrast, zero-shot LLMs struggle to leverage EHR representations. This study underlines the potential of text-based approaches in the medical field and highlights areas for further improvement.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google