MedRep: Medical Concept Representation for General Electronic Health Record Foundation Models

要約

Electronic Health Record（EHR）Foundationモデルは、さまざまな医療タスクでのパフォーマンスが向上し、調査の熟度が高まっています。
急速な進歩にもかかわらず、基本的な制限が存在します。それは、語彙から目に見えない医療コードを処理することです。
この問題は、EHR基礎モデルの一般性と、異なる語彙で訓練されたモデルの統合を制限します。
この問題に対処するために、観察医療結果パートナーシップ（OMOP）共通データモデル（CDM）に基づいたEHR財団モデルのMEDREPを提案し、患者軌跡の統合された医療概念表現と基本的なデータ増強戦略を提供します。
概念表現学習のために、大規模な言語モデル（LLM）を介して最小限の定義で各概念の情報を濃縮し、OMOP語彙のグラフオントロジーを通じてテキストベースの表現を強化します。
軌跡の増強は、選択された概念をランダムに、他の同様の概念に置き換えます。他の同様の概念には、概念を表現してモデルを練習させるための密接に関連する表現があります。
最後に、MEDREPで訓練されたEHR基礎モデルが外部データセットの予測パフォーマンスをよりよく維持することを実証します。
当社のコード実装は、https://github.com/kicarussays/medrepで公開されています。

要約(オリジナル)

Electronic health record (EHR) foundation models have been an area ripe for exploration with their improved performance in various medical tasks. Despite the rapid advances, there exists a fundamental limitation: Processing unseen medical codes out of the vocabulary. This problem limits the generality of EHR foundation models and the integration of models trained with different vocabularies. To deal with this problem, we propose MedRep for EHR foundation models based on the observational medical outcome partnership (OMOP) common data model (CDM), providing the integrated medical concept representations and the basic data augmentation strategy for patient trajectories. For concept representation learning, we enrich the information of each concept with a minimal definition through large language model (LLM) prompts and enhance the text-based representations through graph ontology of OMOP vocabulary. Trajectory augmentation randomly replaces selected concepts with other similar concepts that have closely related representations to let the model practice with the concepts out-of-vocabulary. Finally, we demonstrate that EHR foundation models trained with MedRep better maintain the prediction performance in external datasets. Our code implementation is publicly available at https://github.com/kicarussays/MedRep.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google