FoMoH: A clinically meaningful foundation model evaluation for structured electronic health records

要約

財団モデルは、ダウンストリームタスクとは無関係に意味のある表現を抽出する能力を考えると、ヘルスケアに大きな約束を保持しています。
このプロパティは、ヘルスケアの一般的な課題である限られたラベルデータの設定であっても、構造化された電子健康記録（EHR）データでトレーニングされたいくつかの臨床アプリケーションで最先端のパフォーマンスを可能にしました。
ただし、包括的で意味のあるタスクのデシデラタが不足しているため、これらのモデルの臨床的有用性の可能性についてはほとんどコンセンサスがあり、従来の監視学習に対する利益を特徴付けるための十分に多様な評価があります。
このギャップに対処するために、患者の転帰にまたがる一連の臨床的に意味のあるタスクを提案します。これは、堅牢な評価のためのDesiderataを含む急性および慢性疾患の早期予測です。
ニューヨーク市の大規模な都市アカデミックメディカルセンターであるコロンビア大学アーヴィングメディカルセンター（CUMC）の500万人の患者で構成されるEHRデータに関する最先端の財団モデルを評価します。
トレーニング前、トークン化、およびデータ表現戦略の選択に基づいて、全体的な精度、キャリブレーション、および亜集団パフォーマンスを表面トレードオフに測定します。
私たちの研究の目的は、構造化されたEHR基礎モデルの経験的評価を進め、将来のヘルスケア財団モデルの開発を導くことです。

要約(オリジナル)

Foundation models hold significant promise in healthcare, given their capacity to extract meaningful representations independent of downstream tasks. This property has enabled state-of-the-art performance across several clinical applications trained on structured electronic health record (EHR) data, even in settings with limited labeled data, a prevalent challenge in healthcare. However, there is little consensus on these models’ potential for clinical utility due to the lack of desiderata of comprehensive and meaningful tasks and sufficiently diverse evaluations to characterize the benefit over conventional supervised learning. To address this gap, we propose a suite of clinically meaningful tasks spanning patient outcomes, early prediction of acute and chronic conditions, including desiderata for robust evaluations. We evaluate state-of-the-art foundation models on EHR data consisting of 5 million patients from Columbia University Irving Medical Center (CUMC), a large urban academic medical center in New York City, across 14 clinically relevant tasks. We measure overall accuracy, calibration, and subpopulation performance to surface tradeoffs based on the choice of pre-training, tokenization, and data representation strategies. Our study aims to advance the empirical evaluation of structured EHR foundation models and guide the development of future healthcare foundation models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google