Large Language Models to Identify Social Determinants of Health in Electronic Health Records

要約

健康の社会的決定要因 (SDoH) は患者の転帰に重要な影響を与えますが、電子医療記録 (EHR) からの収集は不完全です。
この研究では、SDoH が最も一般的に文書化されている EHR 内のフリーテキストから SDoH を抽出する大規模言語モデルの機能を調査し、これらのほとんど文書化されていないものの、非常に貴重な臨床データの抽出を改善するための合成臨床テキストの役割を調査しました。
800 件の患者メモに SDoH カテゴリの注釈が付けられ、いくつかの変圧器ベースのモデルが評価されました。
この研究では、合成データ生成の実験も行われ、アルゴリズムのバイアスが評価されました。
最もパフォーマンスの高いモデルは、SDoH 向けに微調整された Flan-T5 XL (マクロ F1 0.71) と Flan-T5 XXL (マクロ F1 0.70) でした。
合成データによる微調整の強化の利点はモデルのアーキテクチャとサイズによって異なり、小型の Flan-T5 モデル (ベースおよびラージ) ではパフォーマンスの最大の向上が示されています (デルタ F1 +0.12 ～ +0.23)。
モデルのパフォーマンスは、病院内システム データセットでは同様でしたが、MIMIC-III データセットでは悪化しました。
私たちの最高のパフォーマンスの微調整モデルは、両方のタスクにおいて、ChatGPT ファミリ モデルのゼロショットおよび数ショットのパフォーマンスを上回っていました。
これらの微調整されたモデルは、人種/民族および性別の記述子がテキストに追加された場合に、ChatGPT よりも予測を変更する可能性が低く、アルゴリズムのバイアスが少ないことを示唆しています (p<0.05)。 患者レベルでは、私たちのモデルは有害な SDoH 患者の 93.8% を特定しましたが、ICD-10 コードは 2.0% を捕捉しました。 私たちの方法は、クリニックノートから SDoH 情報を効果的に抽出でき、GPT ゼロショット設定および少数ショット設定と比較して優れたパフォーマンスを発揮します。 これらのモデルは、SDoH に関する現実世界の証拠を強化し、社会的支援を必要とする患者の特定に役立つ可能性があります。

要約(オリジナル)

Social determinants of health (SDoH) have an important impact on patient outcomes but are incompletely collected from the electronic health records (EHR). This study researched the ability of large language models to extract SDoH from free text in EHRs, where they are most commonly documented, and explored the role of synthetic clinical text for improving the extraction of these scarcely documented, yet extremely valuable, clinical data. 800 patient notes were annotated for SDoH categories, and several transformer-based models were evaluated. The study also experimented with synthetic data generation and assessed for algorithmic bias. Our best-performing models were fine-tuned Flan-T5 XL (macro-F1 0.71) for any SDoH, and Flan-T5 XXL (macro-F1 0.70). The benefit of augmenting fine-tuning with synthetic data varied across model architecture and size, with smaller Flan-T5 models (base and large) showing the greatest improvements in performance (delta F1 +0.12 to +0.23). Model performance was similar on the in-hospital system dataset but worse on the MIMIC-III dataset. Our best-performing fine-tuned models outperformed zero- and few-shot performance of ChatGPT-family models for both tasks. These fine-tuned models were less likely than ChatGPT to change their prediction when race/ethnicity and gender descriptors were added to the text, suggesting less algorithmic bias (p<0.05). At the patient-level, our models identified 93.8% of patients with adverse SDoH, while ICD-10 codes captured 2.0%. Our method can effectively extracted SDoH information from clinic notes, performing better compare to GPT zero- and few-shot settings. These models could enhance real-world evidence on SDoH and aid in identifying patients needing social support.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google