CACER: Clinical Concept Annotations for Cancer Events and Relations

要約

臨床ノートには、医学的問題と処方薬の関係など、患者の病歴が構造化されていない表現が含まれています。
抗がん剤とそれに関連する症状負荷との関係を調査するために、腫瘍学ノートの臨床記述から医学的問題と薬剤情報の構造化された意味表現を抽出します。
我々は、48,000 を超える医学的問題と薬物事象、および 10,000 の薬物問題と問題と問題の関係に対するきめ細かい注釈を備えた新しいコーパスである、がん事象と関係の臨床概念注釈 (CACER) を紹介します。
CACER を活用し、微調整とインコンテキスト学習 (ICL) を使用して、BERT、Flan-T5、Llama3、GPT-4 などのトランスフォーマーベースの情報抽出 (IE) モデルを開発および評価します。
イベント抽出では、微調整された BERT モデルと Llama3 モデルは 88.2 ～ 88.0 F1 で最高のパフォーマンスを達成しました。これは、88.4 F1 のアノテーター間合意 (IAA) に匹敵します。
関係抽出では、微調整された BERT、Flan-T5、および Llama3 が 61.8 ～ 65.3 F1 で最高のパフォーマンスを達成しました。
ICL を搭載した GPT-4 は、両方のタスクにわたって最悪のパフォーマンスを達成しました。
微調整されたモデルは ICL の GPT-4 を大幅に上回り、注釈付きトレーニング データとモデルの最適化の重要性が強調されました。
さらに、BERT モデルは Llama3 と同様のパフォーマンスを示しました。
私たちのタスクでは、LLM は小規模な BERT モデルと比較してパフォーマンス上の利点を提供しません。
この結果は、モデルを最適化するために注釈付きのトレーニング データが必要であることを強調しています。
複数の微調整された変圧器モデルは、いくつかの抽出タスクで IAA に匹敵するパフォーマンスを達成しました。

要約(オリジナル)

Clinical notes contain unstructured representations of patient histories, including the relationships between medical problems and prescription drugs. To investigate the relationship between cancer drugs and their associated symptom burden, we extract structured, semantic representations of medical problem and drug information from the clinical narratives of oncology notes. We present Clinical Concept Annotations for Cancer Events and Relations (CACER), a novel corpus with fine-grained annotations for over 48,000 medical problems and drug events and 10,000 drug-problem and problem-problem relations. Leveraging CACER, we develop and evaluate transformer-based information extraction (IE) models such as BERT, Flan-T5, Llama3, and GPT-4 using fine-tuning and in-context learning (ICL). In event extraction, the fine-tuned BERT and Llama3 models achieved the highest performance at 88.2-88.0 F1, which is comparable to the inter-annotator agreement (IAA) of 88.4 F1. In relation extraction, the fine-tuned BERT, Flan-T5, and Llama3 achieved the highest performance at 61.8-65.3 F1. GPT-4 with ICL achieved the worst performance across both tasks. The fine-tuned models significantly outperformed GPT-4 in ICL, highlighting the importance of annotated training data and model optimization. Furthermore, the BERT models performed similarly to Llama3. For our task, LLMs offer no performance advantage over the smaller BERT models. The results emphasize the need for annotated training data to optimize models. Multiple fine-tuned transformer models achieved performance comparable to IAA for several extraction tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google