Automated Identification of Eviction Status from Electronic Health Record Notes

要約

タイトル：電子カルテノートからの退去状態の自動識別
要約：
– 退去は重要な社会的・行動的健康決定要因である。
– 退去は、失業、住居不安/ホームレス、長期的貧困、心理的健康問題など、さまざまな負の出来事と関連している。
– この研究では、電子カルテ（EHR）ノートから自動的に退去状態を検出する自然言語処理システムを開発した。
– まず、退去ステータス（退去の有無と退去期間）を定義し、ベテランズ・ヘルス・アドミニストレーション（VHA）の5000件のEHRノートで退去ステータスを注釈付けした。
– 他の最先端モデル（BioBERTやBioClinicalBERTなどの事前学習された言語モデルの微調整）を遥かに上回るKIRESHという新しいモデルを開発しました。
– さらに、退去の存在と期間予測の2つのサブタスク間の固有の関連性を利用した新しいプロンプトを設計し、モデルパフォーマンスを改善しました。最後に、テンパーチャースケーリングベースのキャリブレーションを使用して、訓練データセットの不均衡から生じる過度の自信問題を回避しました。
– KIRESH-Promptは、退去期間の予測では、0.74672 MCC、0.71153 Macro-F1、0.83396 Micro-F1を達成し、退去ステータスの存在の予測では、0.66827 MCC、0.62734 Macro-F1、0.7863 Micro-F1を達成し、BioClinicalBERTモデルの微調整などの強力なベースラインモデルを大幅に上回りました。
– また、社会的健康決定要因（SBDH）のベンチマークデータセットでも追加実験を行い、我々の手法の汎用性を示しました。
– KIRESH-Promptは退去ステータス分類を大幅に改善しました。米国退役軍人の住居不安に対処するためにVHA EHRに退去監視システムとして導入する予定です。

要約(オリジナル)

Objective: Evictions are important social and behavioral determinants of health. Evictions are associated with a cascade of negative events that can lead to unemployment, housing insecurity/homelessness, long-term poverty, and mental health problems. In this study, we developed a natural language processing system to automatically detect eviction status from electronic health record (EHR) notes. Materials and Methods: We first defined eviction status (eviction presence and eviction period) and then annotated eviction status in 5000 EHR notes from the Veterans Health Administration (VHA). We developed a novel model, KIRESH, that has shown to substantially outperform other state-of-the-art models such as fine-tuning pre-trained language models like BioBERT and BioClinicalBERT. Moreover, we designed a novel prompt to further improve the model performance by using the intrinsic connection between the two sub-tasks of eviction presence and period prediction. Finally, we used the Temperature Scaling-based Calibration on our KIRESH-Prompt method to avoid over-confidence issues arising from the imbalance dataset. Results: KIRESH-Prompt substantially outperformed strong baseline models including fine-tuning the BioClinicalBERT model to achieve 0.74672 MCC, 0.71153 Macro-F1, and 0.83396 Micro-F1 in predicting eviction period and 0.66827 MCC, 0.62734 Macro-F1, and 0.7863 Micro-F1 in predicting eviction presence. We also conducted additional experiments on a benchmark social determinants of health (SBDH) dataset to demonstrate the generalizability of our methods. Conclusion and Future Work: KIRESH-Prompt has substantially improved eviction status classification. We plan to deploy KIRESH-Prompt to the VHA EHRs as an eviction surveillance system to help address the US Veterans’ housing insecurity.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI