MedPromptExtract (Medical Data Extraction Tool): Anonymization and Hi-fidelity Automated data extraction using NLP and prompt engineering

要約

はじめに: 退院概要 (DS) などの情報源からのデータ抽出には労働集約的な性質があり、特に低所得国および中所得国 (LMIC) にとっては、医療記録のデジタル化に大きな障害となっています。
このペーパーでは、機密性を維持しながら DS からデータを効率的に抽出する完全に自動化されたメソッド MedPromptExtract を紹介します。
方法: データのソースは、コキラベン ディルバイ アンバニ病院 (KDAH) からの急性腎損傷 (AKI) 患者の退院概要 (DS) でした。
半教師あり学習技術を利用して高忠実度の情報抽出を行う既存のツール EIGEN を使用して DS を匿名化し、自然言語処理 (NLP) を使用して通常のフィールドからデータを抽出しました。
私たちは、プロンプト エンジニアリングとラージ ランゲージ モデル (LLM) を使用して、患者の入院状況を説明する自由に流れるテキストからカスタムの臨床情報を抽出しました。
AKIの発生に関連する12の特徴が抽出された。
LLM 応答は臨床医の注釈に対して検証されました。
結果: MedPromptExtracttool は、最初に DS に匿名化パイプラインを適用しました。これには概要ごとに 3 秒かかりました。
匿名化が成功したかどうかは臨床医によって検証され、その後、NLP パイプラインにより、要約ごとに 0.2 秒の速度で 100% の精度で匿名化された PDF から構造化テキストが抽出されました。最後に、DS は、Gemini Pro を使用して 12 個の特徴について LLM パイプラインによって分析されました。
精度メトリクスは、0.9 を超える AUC を達成する 7 つの特徴を備えた臨床医の注釈に対するモデルの応答を比較することによって計算され、抽出プロセスの忠実度が高いことを示しています。
結論: MedPromptExtract は、動的なユーザー インターフェイスを使用して医療記録から効率的にデータを抽出するための自動化された適応ツールとして機能します。
キーワード: 医療記録のデジタル化、自動匿名化、情報検索、大規模言語モデル、迅速なエンジニアリング

要約(オリジナル)

Introduction: The labour-intensive nature of data extraction from sources like discharge summaries (DS) poses significant obstacles to the digitisation of medical records particularly for low- and middle-income countries (LMICs). In this paper we present a completely automated method MedPromptExtract to efficiently extract data from DS while maintaining confidentiality. Methods: The source of data was Discharge Summaries (DS) from Kokilaben Dhirubhai Ambani Hospital (KDAH) of patients having Acute Kidney Injury (AKI). A pre-existing tool EIGEN which leverages semi-supervised learning techniques for high-fidelity information extraction was used to anonymize the DS, Natural Language Processing (NLP) was used to extract data from regular fields. We used Prompt Engineering and Large Language Model(LLM) to extract custom clinical information from free flowing text describing the patients stay in the hospital. Twelve features associated with occurrence of AKI were extracted. The LLM responses were validated against clinicians annotations. Results: The MedPromptExtracttool first subjected DS to the anonymization pipeline which took three seconds per summary. Successful anonymization was verified by clinicians, thereafter NLP pipeline extracted structured text from the anonymized pdfs at the rate of 0.2 seconds per summary with 100% accuracy.Finally DS were analysed by the LLM pipeline using Gemini Pro for the twelve features. Accuracy metrics were calculated by comparing model responses to clinicians annotations with seven features achieving AUCs above 0.9, indicating high fidelity of the extraction process. Conclusion: MedPromptExtract serves as an automated adaptable tool for efficient data extraction from medical records with a dynamic user interface. Keywords: Digitizing Medical Records, Automated Anonymisation, Information Retrieval, Large Language Models, Prompt Engineering

arxiv情報

提供元, 利用サービス

arxiv.jp, Google