Can Zero-Shot Commercial APIs Deliver Regulatory-Grade Clinical Text DeIdentification?

要約

非構造化された医療テキスト – Azure Health Data Services、AWS Grehend Medical、Openai GPT -4o、およびJohn Snow Labsの脱同意のための4つの主要なソリューションのパフォーマンスを評価します。
エンティティレベルとトークンレベルの両方で実施さ​​れた分析は、John Snow Labsの医療言語モデルソリューションが最高の精度を達成することを示唆しており、保護された健康情報（PHI）の検出、AWS（91％）、AWS（83％）、およびGPT-4O（79％）の96％F1スコアがあります。
ジョン・スノー・ラボは、規制グレードの精度を達成する唯一のソリューション（人間の専門家の精度を上回る）だけでなく、最も費用対効果の高いソリューションでもあります。AzureとGPT-4oと比較して80％を超えており、トークンによって価格の唯一のソリューションです。
その固定コストのローカル展開モデルは、クラウドベースのサービスのリクエストごとのエスカレート料金を回避し、スケーラブルで経済的な選択になります。

要約(オリジナル)

We evaluate the performance of four leading solutions for de-identification of unstructured medical text – Azure Health Data Services, AWS Comprehend Medical, OpenAI GPT-4o, and John Snow Labs – on a ground truth dataset of 48 clinical documents annotated by medical experts. The analysis, conducted at both entity-level and token-level, suggests that John Snow Labs’ Medical Language Models solution achieves the highest accuracy, with a 96% F1-score in protected health information (PHI) detection, outperforming Azure (91%), AWS (83%), and GPT-4o (79%). John Snow Labs is not only the only solution which achieves regulatory-grade accuracy (surpassing that of human experts) but is also the most cost-effective solution: It is over 80% cheaper compared to Azure and GPT-4o, and is the only solution not priced by token. Its fixed-cost local deployment model avoids the escalating per-request fees of cloud-based services, making it a scalable and economical choice.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google