LLM-based Prompt Ensemble for Reliable Medical Entity Recognition from EHRs

要約

電子健康記録（EHRS）は、患者情報のデジタル記録であり、多くの場合、構造化されていない臨床テキストを含んでいます。
名前付きエンティティ認識（NER）は、下流の臨床アプリケーションをサポートするために問題、テスト、治療などの主要な医療エンティティを抽出するためにEHRで不可欠です。
このホワイトペーパーでは、ゼロショット、少数のショット、アンサンブルアプローチなど、さまざまな迅速なエンジニアリング技術に導かれた、大規模な言語モデル（LLMS）、特にGPT-4OおよびDeepSeek-R1を使用した迅速な医療エンティティ認識を調査します。
すべての戦略の中で、プロンプトアンサンブルを備えたGPT-4Oは、F1スコア0.95と0.98のリコールで最高の分類パフォーマンスを達成し、タスクでDeepSeek-R1を上回りました。
アンサンブル法は、埋め込みベースの類似性と多数決を通じて出力を集約することにより、信頼性を向上させました。

要約(オリジナル)

Electronic Health Records (EHRs) are digital records of patient information, often containing unstructured clinical text. Named Entity Recognition (NER) is essential in EHRs for extracting key medical entities like problems, tests, and treatments to support downstream clinical applications. This paper explores prompt-based medical entity recognition using large language models (LLMs), specifically GPT-4o and DeepSeek-R1, guided by various prompt engineering techniques, including zero-shot, few-shot, and an ensemble approach. Among all strategies, GPT-4o with prompt ensemble achieved the highest classification performance with an F1-score of 0.95 and recall of 0.98, outperforming DeepSeek-R1 on the task. The ensemble method improved reliability by aggregating outputs through embedding-based similarity and majority voting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google