Question-Answering System Extracts Information on Injection Drug Use from Clinical Notes

要約

背景: 注射による薬物使用 (IDU) は、死亡率と罹患率を増加させる危険な健康行動です。
IDUを早期に特定し、危害軽減介入を開始することは、リスクにさらされている個人に利益をもたらす可能性があります。
しかし、患者の電子医療記録 (EHR) から IDU 行動を抽出することは困難です。その理由は、国際疾病分類 (ICD) コードがなく、IDU 情報を示すことができる唯一の場所が構造化されていない自由記述の臨床メモであるためです。
自然言語処理は非構造化データからこの情報を効率的に抽出できますが、検証されたツールはありません。
方法: 臨床情報におけるこのギャップに対処するために、臨床ノートから IDU に関する情報を抽出するための質問応答 (QA) フレームワークを設計し、実証します。
私たちのフレームワークには、(1) ゴールドスタンダード QA データセットの生成、および (2) QA モデルの開発とテストの 2 つの主要なステップが含まれます。
私たちは、VA Corporate Data Warehouse から取得した 1,145 人の患者の 2,323 件の臨床ノートを利用して、QA モデルの開発と評価のためのゴールドスタンダード データセットを構築します。
また、時間的に分布外のデータに関する IDU 関連情報を抽出する QA モデルの機能も実証します。
結果: ここでは、ゴールドスタンダードと予測された回答が厳密に一致する場合、QA モデルは 51.65% の F1 スコアを達成することを示します。
ゴールドスタンダードと予測された回答の間の緩和された一致の場合、QA モデルは 78.03% の F1 スコア、85.38% の精度スコア、および 79.02% の再現率スコアを獲得しました。
さらに、QA モデルは、一時的に分布外のデータにさらされた場合でも、一貫したパフォーマンスを示します。
結論：私たちの研究では、臨床ノートから IDU 情報を抽出するように設計された QA フレームワークを導入しています。これは、薬物を注射する人の正確かつ効率的な検出を強化し、関連情報を抽出し、最終的には情報に基づいた患者ケアを促進することを目的としています。

要約(オリジナル)

Background: Injection drug use (IDU) is a dangerous health behavior that increases mortality and morbidity. Identifying IDU early and initiating harm reduction interventions can benefit individuals at risk. However, extracting IDU behaviors from patients’ electronic health records (EHR) is difficult because there is no International Classification of Disease (ICD) code and the only place IDU information can be indicated is unstructured free-text clinical notes. Although natural language processing can efficiently extract this information from unstructured data, there are no validated tools. Methods: To address this gap in clinical information, we design and demonstrate a question-answering (QA) framework to extract information on IDU from clinical notes. Our framework involves two main steps: (1) generating a gold-standard QA dataset and (2) developing and testing the QA model. We utilize 2323 clinical notes of 1145 patients sourced from the VA Corporate Data Warehouse to construct the gold-standard dataset for developing and evaluating the QA model. We also demonstrate the QA model’s ability to extract IDU-related information on temporally out-of-distribution data. Results: Here we show that for a strict match between gold-standard and predicted answers, the QA model achieves 51.65% F1 score. For a relaxed match between the gold-standard and predicted answers, the QA model obtains 78.03% F1 score, along with 85.38% Precision and 79.02% Recall scores. Moreover, the QA model demonstrates consistent performance when subjected to temporally out-of-distribution data. Conclusions: Our study introduces a QA framework designed to extract IDU information from clinical notes, aiming to enhance the accurate and efficient detection of people who inject drugs, extract relevant information, and ultimately facilitate informed patient care.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google