Clinical Concept and Relation Extraction Using Prompt-based Machine Reading Comprehension

要約

目的: 臨床概念抽出と関係抽出の両方を、施設間アプリケーションの優れた一般化可能性を備えた統合されたプロンプトベースの機械読解 (MRC) アーキテクチャで解決する自然言語処理システムを開発すること。
方法: 統一されたプロンプトベースの MRC アーキテクチャを使用して、臨床概念抽出と関係抽出の両方を定式化し、最先端の変換モデルを調査します。
2018 National NLP Clinical Challenges (n2c2) チャレンジ (医薬品および有害薬物事象) と 2022 n2c2 チャレンジ (
健康の社会的決定要因の関係[SDoH])。
また、機関間の設定で提案された MRC モデルの転移学習能力を評価します。
エラー分析を実行し、さまざまなプロンプト戦略が MRC モデルのパフォーマンスにどのように影響するかを調べます。
結果と結論: 提案された MRC モデルは、2 つのベンチマーク データセットで臨床概念と関係抽出の最先端のパフォーマンスを達成し、以前の非 MRC トランスフォーマー モデルよりも優れています。
GatorTron-MRC は、概念抽出で最高の厳密な F1 スコアと寛大な F1 スコアを達成し、2 つのデータセットで以前の深層学習モデルをそれぞれ 1% ~ 3% と 0.7% ~ 1.3% 上回っています。
エンドツーエンドの関係抽出では、GatorTron-MRC と BERT-MIMIC-MRC が最高の F1 スコアを達成し、以前のディープ ラーニング モデルをそれぞれ 0.9% ～ 2.4% および 10% ～ 11% 上回っています。
機関間の評価では、GatorTron-MRC は従来の GatorTron よりも 2 つのデータセットでそれぞれ 6.4% と 16% 優れています。
提案された方法は、ネストされた/重複した概念の処理、関係の抽出に優れており、機関間のアプリケーションに対する移植性が良好です。

要約(オリジナル)

Objective: To develop a natural language processing system that solves both clinical concept extraction and relation extraction in a unified prompt-based machine reading comprehension (MRC) architecture with good generalizability for cross-institution applications. Methods: We formulate both clinical concept extraction and relation extraction using a unified prompt-based MRC architecture and explore state-of-the-art transformer models. We compare our MRC models with existing deep learning models for concept extraction and end-to-end relation extraction using two benchmark datasets developed by the 2018 National NLP Clinical Challenges (n2c2) challenge (medications and adverse drug events) and the 2022 n2c2 challenge (relations of social determinants of health [SDoH]). We also evaluate the transfer learning ability of the proposed MRC models in a cross-institution setting. We perform error analyses and examine how different prompting strategies affect the performance of MRC models. Results and Conclusion: The proposed MRC models achieve state-of-the-art performance for clinical concept and relation extraction on the two benchmark datasets, outperforming previous non-MRC transformer models. GatorTron-MRC achieves the best strict and lenient F1-scores for concept extraction, outperforming previous deep learning models on the two datasets by 1%~3% and 0.7%~1.3%, respectively. For end-to-end relation extraction, GatorTron-MRC and BERT-MIMIC-MRC achieve the best F1-scores, outperforming previous deep learning models by 0.9%~2.4% and 10%-11%, respectively. For cross-institution evaluation, GatorTron-MRC outperforms traditional GatorTron by 6.4% and 16% for the two datasets, respectively. The proposed method is better at handling nested/overlapped concepts, extracting relations, and has good portability for cross-institute applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google