AE-GPT: Using Large Language Models to Extract Adverse Events from Surveillance Reports-A Use Case with Influenza Vaccine Adverse Events

要約

ワクチンは感染症やパンデミックの発生を軽減し、世界の健康に役立ちますが、場合によっては有害事象（AE）を引き起こす可能性があります。
最近、ラージ言語モデル (LLM) は、臨床レポート内の AE を効果的に特定してカタログ化するのに有望であることが示されています。
この研究は、1990 年から 2016 年までのワクチン有害事象報告システム (VAERS) からのデータを利用して、特に AE に焦点を当て、LLM の AE 抽出能力を評価しています。
GPT-2、GPT-3 バリアント、GPT-4、および Llama 2 を含むさまざまな流行している LLM が、ユースケースとしてインフルエンザ ワクチンを使用して評価されました。
微調整された GPT 3.5 モデル (AE-GPT) は、厳密な一致の平均マイクロ F1 スコアが 0.704、リラックスした一致の場合が 0.816 で際立っていました。
AE-GPT の有望なパフォーマンスは、医療データ処理における LLM の可能性を強調しており、高度な AE 検出に向けた大きな進歩を示しており、したがっておそらく他の AE 抽出タスクに一般化できると考えられます。

要約(オリジナル)

Though Vaccines are instrumental in global health, mitigating infectious diseases and pandemic outbreaks, they can occasionally lead to adverse events (AEs). Recently, Large Language Models (LLMs) have shown promise in effectively identifying and cataloging AEs within clinical reports. Utilizing data from the Vaccine Adverse Event Reporting System (VAERS) from 1990 to 2016, this study particularly focuses on AEs to evaluate LLMs’ capability for AE extraction. A variety of prevalent LLMs, including GPT-2, GPT-3 variants, GPT-4, and Llama 2, were evaluated using Influenza vaccine as a use case. The fine-tuned GPT 3.5 model (AE-GPT) stood out with a 0.704 averaged micro F1 score for strict match and 0.816 for relaxed match. The encouraging performance of the AE-GPT underscores LLMs’ potential in processing medical data, indicating a significant stride towards advanced AE detection, thus presumably generalizable to other AE extraction tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google