Prompt-based Extraction of Social Determinants of Health Using Few-shot Learning

要約

非構造化テキストを通じて電子医療記録に文書化された健康の社会的決定要因 (SDOH) は、SDOH が患者の健康結果にどのような影響を与えるかを理解するためにますます研究されています。
この作業では、薬物使用、雇用、生活状況情報など、SDOH 用に注釈が付けられた匿名化された社会史セクションの多機関コーパスである社会史注釈コーパス (SHAC) を利用します。
ワンショット プロンプト設定で GPT-4 を使用し、スタンドオフおよびインライン アノテーション形式の両方で SHAC による SDOH 情報の自動抽出を検討します。
GPT-4 抽出パフォーマンスを高性能の教師ありアプローチと比較し、徹底的なエラー分析を実行します。
当社のプロンプトベースの GPT-4 メソッドは、SHAC テスト セットで全体の 0.652 F1 を達成しました。これは、SHAC を使用した n2c2 チャレンジの全チームの中で 7 番目に優れたパフォーマンスを示したシステムと同様です。

要約(オリジナル)

Social determinants of health (SDOH) documented in the electronic health record through unstructured text are increasingly being studied to understand how SDOH impacts patient health outcomes. In this work, we utilize the Social History Annotation Corpus (SHAC), a multi-institutional corpus of de-identified social history sections annotated for SDOH, including substance use, employment, and living status information. We explore the automatic extraction of SDOH information with SHAC in both standoff and inline annotation formats using GPT-4 in a one-shot prompting setting. We compare GPT-4 extraction performance with a high-performing supervised approach and perform thorough error analyses. Our prompt-based GPT-4 method achieved an overall 0.652 F1 on the SHAC test set, similar to the 7th best-performing system among all teams in the n2c2 challenge with SHAC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google