Transfer Learning for the Prediction of Entity Modifiers in Clinical Text: Application to Opioid Use Disorder Case Detection

要約

背景臨床テキストから抽出されたエンティティのセマンティクスは、エンティティの否定、不確実性、条件性、重大性、主語などの修飾語によって劇的に変化する可能性がある。臨床エンティティの修飾語を決定するための既存のモデルは、各修飾語に対して独立して学習される正規表現や特徴量の重みを含む。 方法公開されているSemEval 2015 Task 14コーパスと、SemEvalと共有される修飾語やOUDに特有の新規修飾語を含む新しいOpioid Use Disorder (OUD)データセットを用いて、修飾語を共同で学習・予測するマルチタスク変換アーキテクチャ設計を開発し、評価する。また、臨床修飾語の一部のみが共有されている場合に、臨床エンティティ修飾語に対する転移学習の実現可能性を評価した。 結果我々のアプローチは、SemEval 2015 Task 14のShAReコーパスにおいて、加重精度で1.1%、非加重精度で1.7%、マイクロF1スコアで10%の増加を示し、最先端の結果を達成した。 結論我々は、我々の共有モデルから学習された重みが、部分的にマッチした新しいデータセットに効果的に転送できることを示し、臨床テキスト修飾子に対する転送学習の利用を検証した。

要約(オリジナル)

Background: The semantics of entities extracted from a clinical text can be dramatically altered by modifiers, including entity negation, uncertainty, conditionality, severity, and subject. Existing models for determining modifiers of clinical entities involve regular expression or features weights that are trained independently for each modifier. Methods: We develop and evaluate a multi-task transformer architecture design where modifiers are learned and predicted jointly using the publicly available SemEval 2015 Task 14 corpus and a new Opioid Use Disorder (OUD) data set that contains modifiers shared with SemEval as well as novel modifiers specific for OUD. We evaluate the effectiveness of our multi-task learning approach versus previously published systems and assess the feasibility of transfer learning for clinical entity modifiers when only a portion of clinical modifiers are shared. Results: Our approach achieved state-of-the-art results on the ShARe corpus from SemEval 2015 Task 14, showing an increase of 1.1% on weighted accuracy, 1.7% on unweighted accuracy, and 10% on micro F1 scores. Conclusions: We show that learned weights from our shared model can be effectively transferred to a new partially matched data set, validating the use of transfer learning for clinical text modifiers

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL